Markdown आवृत्ती

AI-translated from English; not yet reviewed by a fluent editor.

# स्थानिक Ollama मॉडेल चालवा आणि त्याचा चॅट API तपासा

> Ollama स्थापित करा, डाउनलोड केलेले मॉडेल निवडा, टर्मिनलमधील उत्तरे तपासा आणि तोच प्रश्न localhost चॅट API ला पाठवा. फक्त स्थानिक म्हणण्यापूर्वी मॉडेल व क्लाउडची सीमा पडताळा.

By BIG CHANGE Editorial

Published: 2026-10-20T14:31:39.416Z
Updated: 2026-10-20T14:31:39.416Z
Canonical: https://bigchange.ai/blog/run-local-ollama-model-chat-api-guide

![Conceptual charcoal illustration of a closed desktop computer tower beside a keyboard and an angled monitor showing indistinct terminal marks.](https://bigchange.ai/api/media/file/ollama-local-chat-api-desktop-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE.

Ollama डाउनलोड केलेले मॉडेल संगणकावर चालवून स्थानिक HTTP पत्त्यावर उपलब्ध करू शकते. हे मार्गदर्शन प्रत्येक टप्प्यावर तेच मॉडेल नाव वापरून स्थापनेपासून टर्मिनल चॅट व पूर्ण API उत्तरापर्यंत जाते. ही दस्तऐवजाधारित पद्धत आहे: BIG CHANGE ने सॉफ्टवेअर स्थापित केले नाही किंवा तुमच्या यंत्रावरील परिणाम पाहिले नाहीत.

## मोठा बदल

- **काय बदलले:** Ollama डाउनलोड मॉडेलपासून टर्मिनल चॅट व स्थानिक API पर्यंत थेट मार्ग देते. नवशिका प्रत्येक इंटरफेसवर मॉडेल नाव व उत्तर तपासू शकतो; चॅट खिडकी म्हणजे गणन कुठे झाले याचा पुरावा असे गृहीत धरावे लागत नाही.
- **हे महत्त्वाचे का:** स्थानिक सर्व्हर व Ollama क्लाउड API ही वेगवेगळी गंतव्ये आहेत. मंजूर कामासाठी किंवा वैयक्तिक वापरासाठी डाउनलोड मॉडेल निवडून आणि `localhost` वर विनंती करून सराव स्वतःच्या संगणकावर ठेवू शकता; सर्व्हर मांडणी वेगळी तपासावी लागते.
- **कशाकडे लक्ष द्यावे:** स्थानिक URL एकटाच प्रत्येक सुविधा किंवा जोडलेले ॲप स्थानिक राहते हे सिद्ध करत नाही. Ollama स्थानिक सर्व्हरमधून क्लाउड मॉडेलही वापरू शकते. निर्णायक तपासण्या म्हणजे स्थापित मॉडेल टॅग, विनंतीचे गंतव्य, सर्व्हरचा बांधलेला पत्ता आणि सक्त स्थानिक वापर हवा असल्यास पुन्हा सुरू केल्यावर क्लाउड बंद असल्याची नोंद.

## सुरुवातीपूर्वी

सॉफ्टवेअर स्थापित करण्याची परवानगी असलेला संगणक वापरा. उघड्या मूळ दस्तऐवजात उत्तर तपासता येईल असा निरुपद्रवी तथ्यात्मक प्रश्न निवडा. कमांड सरावाचा प्रश्न मागेल तेव्हा तोच पेस्ट करा; फक्त चाचणीसाठी खासगी किंवा नियमनाधीन माहिती देऊ नका. उत्तर तपासण्यासाठी दस्तऐवज ठेवा, कारण ओघवते उत्तर अचूकतेचा पुरावा नाही.

Ollama व मॉडेलसाठी साठवण, मॉडेल लोड होईल इतकी मेमरी आणि स्थापना व डाउनलोडसाठी इंटरनेट हवे. [Ollama झटपट सुरुवात](https://docs.ollama.com/quickstart) स्थानिक उदाहरणात `gemma4:e2b` वापरते आणि 8 GB उपलब्ध VRAM किंवा Mac वर सामायिक मेमरी सुचवते. Ollama नुसार प्रणाली RAM वर परत जाता येते, पण उत्तरे हळू येतात. पुढे जाण्यापूर्वी [मॉडेलचे सध्याचे पान](https://ollama.com/library/gemma4:e2b) पाहून नेमका टॅग, डाउनलोड आकार व परवाना तपासा. डाउनलोड आकार म्हणजे संगणक मॉडेल चालवू शकतो याचा पुरावा नाही. यंत्राला किंवा अनुमत उपयोगाला न जुळल्यास लहान *डाउनलोड करता येणारे स्थानिक* मॉडेल [लायब्ररी](https://ollama.com/library) मधून निवडा आणि `gemma4:e2b` खालील **प्रत्येक** कमांडमध्ये त्याच्या नेमक्या टॅगने बदला. या सरावासाठी `:cloud` टॅग निवडू नका.

## 1. Ollama स्थापित करून स्थानिक सर्व्हर तपासा

Ollama त्याच्या [अधिकृत डाउनलोड पानावरून](https://ollama.com/download) घ्या आणि कार्यप्रणालीचे निर्देश पाळा: [Windows](https://docs.ollama.com/windows), [macOS](https://docs.ollama.com/macos) किंवा [Linux](https://docs.ollama.com/linux). Windows व macOS वर स्थापित ॲप उघडा. Linux वर निवडलेली स्थापना पद्धत पाळून सेवा सुरू करा; सेवा चालू नसेल तर [झटपट सुरुवात](https://docs.ollama.com/quickstart) वेगळ्या टर्मिनलमध्ये `ollama serve` चालवायला सांगते. आधीपासून ऐकणाऱ्या ॲप किंवा सेवेवर दुसरा सर्व्हर सुरू करू नका.

नव्या टर्मिनलमध्ये स्थापित आवृत्ती व स्थानिक सर्व्हरचे उत्तर तपासा:

```shell
ollama -v
ollama ls
```

खरी आवृत्ती व कार्यप्रणाली नोंदवा. पहिल्या डाउनलोडपूर्वी मॉडेल यादी रिकामी असू शकते; कमांड किंवा जोडणी त्रुटी आल्यास आधी स्थापना किंवा सर्व्हर सुरू करणे दुरुस्त करा. Ollama ची [नेहमीची प्रश्नोत्तरे](https://docs.ollama.com/faq) सांगतात की मूलभूत ऐकण्याचा पत्ता `127.0.0.1:11434` आहे. सरावासाठी तो लूपबॅकवर ठेवा; नेटवर्क बांधणी, प्रॉक्सी किंवा टनेल तयार करू नका.

## 2. एक नेमके स्थानिक मॉडेल डाउनलोड करा

मॉडेलचे पान तपासून चालवा:

```shell
ollama pull gemma4:e2b
ollama ls
```

डाउनलोडनंतर नेमका टॅग `ollama ls` मध्ये दिसला पाहिजे. टॅग, दाखवलेला आकार व मॉडेल पानाचा परवाना नोंदवा. डाउनलोड अयशस्वी किंवा टॅग गायब असेल तर पुन्हा प्रयत्नाआधी सध्याच्या लायब्ररीतील लेखन, मोकळी डिस्क, नेटवर्क आणि प्रॉक्सी किंवा परवानगी त्रुटी तपासा. अर्धवट डाउनलोड म्हणजे यशस्वी मांडणी नाही.

## 3. संवादात्मक आणि एकदाचे टर्मिनल चॅट तपासा

संवादात्मक चॅट सुरू करा:

```shell
ollama run gemma4:e2b
```

मंजूर सरावाचा प्रश्न चॅटमध्ये पेस्ट करा. प्रश्न तयार केलेल्या दस्तऐवजाशी उत्तर तपासून `/bye` लिहा व बाहेर पडा. स्वतःच्या तपासणीसाठी प्रश्न व खरे उत्तर ठेवा; हा लेख नमुना निकाल देत नाही.

वेगळ्या एकदाच्या वापरात **तोच** प्रश्न वापरा. Windows च्या PowerShell मध्ये:

```powershell
$practicePrompt = Read-Host 'Paste your approved practice question'
ollama run gemma4:e2b $practicePrompt
```

macOS किंवा Linux च्या Bash टर्मिनलमध्ये:

```bash
read -r -p 'Paste your approved practice question: ' practice_prompt
ollama run gemma4:e2b "$practice_prompt"
```

खरे एकदाचे उत्तर त्याच स्रोताशी तपासा. दोन्ही उत्तरांचे शब्द एकसारखे हवेत असे नाही; महत्त्वाचे म्हणजे दोन्ही कमांडने अपेक्षित टॅग चालवला आणि प्रत्येक तथ्यात्मक दावा स्रोताशी तुलनेत टिकतो.

## 4. localhost मधून त्याच मॉडेलला विचारा

हा [चॅट API](https://docs.ollama.com/api/chat) मॉडेल नाव व संदेश `POST /api/chat` वर घेतो. मूळ मांडणीत उत्तर भागांमध्ये येते; `stream: false` एक पूर्ण JSON उत्तर मागते. [API परिचय](https://docs.ollama.com/api/introduction) स्थानिक मूळ URL `http://localhost:11434/api` आणि थेट क्लाउड URL `https://ollama.com/api` वेगळे दाखवतो. स्थानिक विनंतीला API कळ नको.

Windows वर PowerShell पेस्ट केलेल्या प्रश्नातून सुरक्षित JSON बनवू शकते:

```powershell
$practicePrompt = Read-Host 'Paste the same approved practice question'
$body = @{ model = 'gemma4:e2b'; messages = @(@{ role = 'user'; content = $practicePrompt }); stream = $false } | ConvertTo-Json -Depth 5
$response = Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json; charset=utf-8' -Body $body
$response | Select-Object model, done
$response.message.content
```

macOS किंवा Linux चे हे Bash उदाहरण Python 3 केवळ प्रश्न JSON मध्ये योग्य रीतीने मांडायला वापरते. आधी `python3` आणि `curl` स्थापित आहेत ते पाहा:

```bash
read -r -p 'Paste the same approved practice question: ' practice_prompt
export practice_prompt
python3 -c 'import json,os; print(json.dumps({"model":"gemma4:e2b","messages":[{"role":"user","content":os.environ["practice_prompt"]}],"stream":False}))' | curl -fsS 'http://localhost:11434/api/chat' -H 'Content-Type: application/json' --data-binary @-
```

विनंतीने HTTP यश व एक JSON ऑब्जेक्ट द्यावा ज्यात `model` डाउनलोड टॅगशी जुळतो, `done` चे मूल्य `true` असते आणि `message.content` रिकामे नसते. खरे उत्तर वाचून स्रोताशी तपासा. यश या विनंतीचे स्थानिक गंतव्य व निवडलेले मॉडेल सिद्ध करते; नमुना संवादावर विसंबण्याऐवजी स्वतःचा आउटपुट ठेवा.

## 5. चालण्याचे ठिकाण व केवळ स्थानिक सीमा तपासा

मॉडेल लोड असेल तेव्हा चालवा:

```shell
ollama ps
```

हा `PROCESSOR` स्तंभ मॉडेल CPU, GPU किंवा दोन्हींवर लोड आहे ते सांगतो, Ollama च्या [नेहमीच्या प्रश्नोत्तरांनुसार](https://docs.ollama.com/faq). यंत्र प्रत्यक्ष काय दाखवते ते नोंदवा. मॉडेल मेमरीतून निघाले असेल तर दुसरा प्रश्न पाठवून पुन्हा तपासा. पूर्ण झाल्यावर `ollama stop gemma4:e2b` ने ते मेमरीतून काढू शकता; `ollama rm gemma4:e2b` ने हटवणे निरीक्षणे साठवल्यावर पर्यायी डिस्क सफाई आहे.

कडक स्थानिक Ollama मांडणीसाठी [अधिकृत क्लाउड बंद करण्याचे निर्देश](https://docs.ollama.com/faq) पाळा: `disable_ollama_cloud` हे `~/.ollama/server.json` मध्ये त्या खात्यासाठी ठेवा **जे Ollama सर्व्हर चालवते** (Windows वर त्या खात्याच्या वापरकर्ता प्रोफाइलमधील `.ollama` फोल्डर), इतर विद्यमान JSON सेटिंग्ज जपून:

```json
{
  "disable_ollama_cloud": true
}
```

Linux वर [दस्तऐवजातील systemd सेवा](https://docs.ollama.com/linux) या ओळखीने चालते: `User=ollama`, जिचा होम `/usr/share/ollama` आहे; तुमच्या स्वतःच्या होम फाइलने त्या सेवेची मांडणी होणार नाही. systemd स्थापनेत Ollama चा दस्तऐवजातील पर्याय `OLLAMA_NO_CLOUD=1` सेवा ओव्हरराइडमध्ये वापरता येतो. आधी विद्यमान सेवा `systemctl cat ollama.service` ने पाहा, मग ओव्हरराइड `sudo systemctl edit ollama.service` ने उघडा. खालील भाग `[Service]` अंतर्गत जोडा आणि इतर ओव्हरराइड सेटिंग्ज जपा:

```plaintext
[Service]
Environment="OLLAMA_NO_CLOUD=1"
```

ओव्हरराइड साठवा, मग सेवा मांडणी पुन्हा लोड करून सेवा पुन्हा सुरू करा:

```bash
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
```

Windows किंवा macOS वर मांडणी बदलल्यावर Ollama ॲप पुन्हा सुरू करा. सर्व्हर नोंदीत नेमकी ओळ `Ollama cloud disabled: true` पाहा. Windows वरील दस्तऐवजातील नोंद `%LOCALAPPDATA%\Ollama\server.log` आहे; macOS वर `~/.ollama/logs/server.log`; Linux systemd स्थापनेत `journalctl -e -u ollama` वापरा. असंबंधित टर्मिनलमधील वातावरण चल आधीपासून चालणाऱ्या ॲप किंवा सेवेपर्यंत पोहोचेलच असे नाही. क्लाउड सुविधा बंद केल्याने Ollama क्लाउड मॉडेल व वेब शोध जातात. नोंदीत पुष्टी नसेल तर केवळ स्थानिक म्हणण्यापूर्वी मांडणी सुधारा व पुन्हा सुरू करा.

सर्व्हर नोंद किंवा कार्यप्रणालीच्या तपासणीत अजूनही `127.0.0.1:11434` वर ऐकत असल्याचे पाहा आणि डाउनलोड टॅगने localhost विनंती पुन्हा करा. `OLLAMA_HOST` बांधलेला पत्ता बदलू शकतो, म्हणून मूळ मूल्य गृहीत न धरता चालू सर्व्हर तपासा. वेगळी Python लायब्ररी, ब्राउझर इंटरफेस, कोडिंग एजंट किंवा जोडलेले ॲप स्वतःच्या गंतव्य व डेटा मार्गाची तपासणी मागते; स्थानिक Ollama उत्तर त्या ॲपची गोपनीयता सिद्ध करत नाही.

Windows वर PowerShell मध्ये ऐकण्याचा पत्ता पाहा:

```powershell
Get-NetTCPConnection -LocalPort 11434 -State Listen | Select-Object LocalAddress, LocalPort
```

macOS वर `lsof -nP -iTCP:11434 -sTCP:LISTEN` आणि Linux वर `ss -ltn '( sport = :11434 )'` वापरा. कार्यप्रणालीचे साधन नसेल तर सर्व्हर नोंद पाहा. वाइल्डकार्ड किंवा लूपबॅक नसलेल्या पत्त्याचा तपास केल्याशिवाय API या संगणकापुरता मर्यादित समजू नका.

## तपासणी अयशस्वी झाली तर

जर `ollama -v` किंवा `ollama ls` अयशस्वी झाले तर योग्य कार्यप्रणालीच्या स्थापना व प्रारंभ पानावर परत जा. localhost जोडणी नाकारणे सहसा ॲप किंवा सेवा बंद असणे किंवा दुसरीकडे ऐकणे दर्शवते; API नेटवर्कवर उघडण्याऐवजी नोंदी व पत्ता तपासा. उत्तर अनेक JSON ओळींमध्ये आल्यास विनंतीत `"stream": false` आहे ते पाहा. मेमरी कमी किंवा मॉडेल अव्यवहार्यपणे मंद असेल तर `ollama ps` पाहून लायब्ररीतून खरेच लहान स्थानिक टॅग निवडा. त्याच एका टॅगने डाउनलोड, टर्मिनल व API तपासण्या करा. अपूर्ण टप्पा अप्रमाणित माना.

स्थानिक सरावासाठी हार्डवेअर, वीज व डाउनलोड जागा लागते, पण Ollama API कळ किंवा सशुल्क API खाते नको. मॉडेल परवाना वापर मर्यादित करू शकतो. क्लाउड मॉडेल व पर्यायी तृतीय-पक्ष क्लायंटच्या अटी व डेटा मार्ग स्वतंत्र असतात. हार्डवेअर खरेदीच्या सविस्तर तुलनेसाठी आमचे [128 GB स्थानिक मॉडेल मार्गदर्शन](https://bigchange.ai/blog/run-local-models-128gb-memory-cost) पाहा; Ollama व Claude Code वापरणाऱ्या वेगळ्या कोडिंग कामासाठी [तपासलेल्या बदलाचे मार्गदर्शन](https://bigchange.ai/blog/claude-code-local-ollama-checked-change-guide) पाहा.

## स्रोत आणि अधिक वाचन

- [Ollama झटपट सुरुवात](https://docs.ollama.com/quickstart) स्थापना, स्थानिक `gemma4:e2b` उदाहरण व मेमरी शिफारस सांगते. उदाहरण दस्तऐवज आहे, तुमच्या यंत्राची चाचणी नाही.
- [कमांड लाइन संदर्भ](https://docs.ollama.com/cli) येथे वापरलेल्या सध्याच्या `pull`, `run`, `ls`, `ps`, `stop`, `rm` आणि `serve` कमांड सांगतो.
- [API परिचय](https://docs.ollama.com/api/introduction) आणि [चॅट एंडपॉइंट](https://docs.ollama.com/api/chat) स्थानिक व क्लाउड पत्ते वेगळे करतात आणि स्ट्रीमविरहित विनंती व उत्तर फील्ड ठरवतात.
- [नेहमीची प्रश्नोत्तरे](https://docs.ollama.com/faq) लूपबॅक बांधणी, प्रोसेसरचे ठिकाण, क्लाउड बंद करणे आणि नोंद तपासणी सांगतात.
- [Gemma 4 E2B पान](https://ollama.com/library/gemma4:e2b) सध्याचा नेमका टॅग, आकार व परवाना सामग्री देते, डाउनलोडपूर्वी पाहण्यासाठी.

## Sources

- [Ollama झटपट सुरुवात](https://docs.ollama.com/quickstart) — अधिकृत स्थापना प्रवेश व स्थानिक gemma4:e2b उदाहरण, pull, run, /bye, API विनंती व मेमरी शिफारशीसह. वाचकाच्या हार्डवेअरची योग्यताही किंवा खरा निकाल सिद्ध करत नाही.
- [Ollama CLI संदर्भ](https://docs.ollama.com/cli) — सध्याच्या pull, run, ls, ps, stop, rm आणि serve कमांड. लेखासाठी टर्मिनल चालवलेले नाही.
- [Ollama API परिचय](https://docs.ollama.com/api/introduction) — localhost आणि थेट क्लाउड मूळ URL, तसेच कळीविना स्थानिक प्रवेश वेगळा करतो. सुविधा चालू असताना स्थानिक सर्व्हर क्लाउड मॉडेलही वापरू शकतात.
- [Ollama चॅट एंडपॉइंट](https://docs.ollama.com/api/chat) — model/messages विनंती, मूळ स्ट्रीमिंग, stream:false आणि पूर्ण model, done, message.content फील्ड ठरवतो. वाचकाचे उत्तर सिद्ध करत नाही.
- [Ollama नेहमीची प्रश्नोत्तरे](https://docs.ollama.com/faq) — मूळ लूपबॅक बांधणी, प्रोसेसरचे ठिकाण, क्लाउड बंद करण्याची मांडणी, पुनःप्रारंभ व नोंदीतील संकेत सांगतात. इतर क्लायंट ॲपचे डेटा मार्ग वेगळे असतात.
- [Ollama Gemma 4 E2B पान](https://ollama.com/library/gemma4:e2b) — नेमका उदाहरण टॅग व सध्याच्या फाइल आणि परवाना सामग्री देते. डाउनलोडपूर्वी वाचकांनी आकार, अधिकार व यंत्राची क्षमता तपासावी.
- [Ollama Windows स्थापना](https://docs.ollama.com/windows) — कार्यप्रणाली स्थापना, CLI व पार्श्वभूमी सर्व्हर वर्तन, नोंदीचे ठिकाण; वाचकाची स्थापित आवृत्ती सिद्ध करत नाही.
- [Ollama macOS स्थापना](https://docs.ollama.com/macos) — कार्यप्रणाली स्थापना, ॲप व CLI वर्तन, नोंदीचे ठिकाण; वाचकाची स्थापित आवृत्ती सिद्ध करत नाही.
- [Ollama Linux स्थापना](https://docs.ollama.com/linux) — कार्यप्रणाली स्थापना, हाताने किंवा सेवेतून प्रारंभ व नोंदवही सूचना; वाचकांनी स्वतःची वास्तविक मांडणी पाळावी.