Ollama डाउनलोड केलेले मॉडेल संगणकावर चालवून स्थानिक HTTP पत्त्यावर उपलब्ध करू शकते. हे मार्गदर्शन प्रत्येक टप्प्यावर तेच मॉडेल नाव वापरून स्थापनेपासून टर्मिनल चॅट व पूर्ण API उत्तरापर्यंत जाते. ही दस्तऐवजाधारित पद्धत आहे: BIG CHANGE ने सॉफ्टवेअर स्थापित केले नाही किंवा तुमच्या यंत्रावरील परिणाम पाहिले नाहीत.

मोठा बदल

  • काय बदलले: Ollama डाउनलोड मॉडेलपासून टर्मिनल चॅट व स्थानिक API पर्यंत थेट मार्ग देते. नवशिका प्रत्येक इंटरफेसवर मॉडेल नाव व उत्तर तपासू शकतो; चॅट खिडकी म्हणजे गणन कुठे झाले याचा पुरावा असे गृहीत धरावे लागत नाही.
  • हे महत्त्वाचे का: स्थानिक सर्व्हर व Ollama क्लाउड API ही वेगवेगळी गंतव्ये आहेत. मंजूर कामासाठी किंवा वैयक्तिक वापरासाठी डाउनलोड मॉडेल निवडून आणि localhost वर विनंती करून सराव स्वतःच्या संगणकावर ठेवू शकता; सर्व्हर मांडणी वेगळी तपासावी लागते.
  • कशाकडे लक्ष द्यावे: स्थानिक URL एकटाच प्रत्येक सुविधा किंवा जोडलेले ॲप स्थानिक राहते हे सिद्ध करत नाही. Ollama स्थानिक सर्व्हरमधून क्लाउड मॉडेलही वापरू शकते. निर्णायक तपासण्या म्हणजे स्थापित मॉडेल टॅग, विनंतीचे गंतव्य, सर्व्हरचा बांधलेला पत्ता आणि सक्त स्थानिक वापर हवा असल्यास पुन्हा सुरू केल्यावर क्लाउड बंद असल्याची नोंद.

सुरुवातीपूर्वी

सॉफ्टवेअर स्थापित करण्याची परवानगी असलेला संगणक वापरा. उघड्या मूळ दस्तऐवजात उत्तर तपासता येईल असा निरुपद्रवी तथ्यात्मक प्रश्न निवडा. कमांड सरावाचा प्रश्न मागेल तेव्हा तोच पेस्ट करा; फक्त चाचणीसाठी खासगी किंवा नियमनाधीन माहिती देऊ नका. उत्तर तपासण्यासाठी दस्तऐवज ठेवा, कारण ओघवते उत्तर अचूकतेचा पुरावा नाही.

Ollama व मॉडेलसाठी साठवण, मॉडेल लोड होईल इतकी मेमरी आणि स्थापना व डाउनलोडसाठी इंटरनेट हवे. Ollama झटपट सुरुवात स्थानिक उदाहरणात gemma4:e2b वापरते आणि 8 GB उपलब्ध VRAM किंवा Mac वर सामायिक मेमरी सुचवते. Ollama नुसार प्रणाली RAM वर परत जाता येते, पण उत्तरे हळू येतात. पुढे जाण्यापूर्वी मॉडेलचे सध्याचे पान पाहून नेमका टॅग, डाउनलोड आकार व परवाना तपासा. डाउनलोड आकार म्हणजे संगणक मॉडेल चालवू शकतो याचा पुरावा नाही. यंत्राला किंवा अनुमत उपयोगाला न जुळल्यास लहान डाउनलोड करता येणारे स्थानिक मॉडेल लायब्ररी मधून निवडा आणि gemma4:e2b खालील प्रत्येक कमांडमध्ये त्याच्या नेमक्या टॅगने बदला. या सरावासाठी :cloud टॅग निवडू नका.

1. Ollama स्थापित करून स्थानिक सर्व्हर तपासा

Ollama त्याच्या अधिकृत डाउनलोड पानावरून घ्या आणि कार्यप्रणालीचे निर्देश पाळा: Windows, macOS किंवा Linux. Windows व macOS वर स्थापित ॲप उघडा. Linux वर निवडलेली स्थापना पद्धत पाळून सेवा सुरू करा; सेवा चालू नसेल तर झटपट सुरुवात वेगळ्या टर्मिनलमध्ये ollama serve चालवायला सांगते. आधीपासून ऐकणाऱ्या ॲप किंवा सेवेवर दुसरा सर्व्हर सुरू करू नका.

नव्या टर्मिनलमध्ये स्थापित आवृत्ती व स्थानिक सर्व्हरचे उत्तर तपासा:

Terminal
ollama -v
ollama ls

खरी आवृत्ती व कार्यप्रणाली नोंदवा. पहिल्या डाउनलोडपूर्वी मॉडेल यादी रिकामी असू शकते; कमांड किंवा जोडणी त्रुटी आल्यास आधी स्थापना किंवा सर्व्हर सुरू करणे दुरुस्त करा. Ollama ची नेहमीची प्रश्नोत्तरे सांगतात की मूलभूत ऐकण्याचा पत्ता 127.0.0.1:11434 आहे. सरावासाठी तो लूपबॅकवर ठेवा; नेटवर्क बांधणी, प्रॉक्सी किंवा टनेल तयार करू नका.

2. एक नेमके स्थानिक मॉडेल डाउनलोड करा

मॉडेलचे पान तपासून चालवा:

Terminal
ollama pull gemma4:e2b
ollama ls

डाउनलोडनंतर नेमका टॅग ollama ls मध्ये दिसला पाहिजे. टॅग, दाखवलेला आकार व मॉडेल पानाचा परवाना नोंदवा. डाउनलोड अयशस्वी किंवा टॅग गायब असेल तर पुन्हा प्रयत्नाआधी सध्याच्या लायब्ररीतील लेखन, मोकळी डिस्क, नेटवर्क आणि प्रॉक्सी किंवा परवानगी त्रुटी तपासा. अर्धवट डाउनलोड म्हणजे यशस्वी मांडणी नाही.

3. संवादात्मक आणि एकदाचे टर्मिनल चॅट तपासा

संवादात्मक चॅट सुरू करा:

Terminal
ollama run gemma4:e2b

मंजूर सरावाचा प्रश्न चॅटमध्ये पेस्ट करा. प्रश्न तयार केलेल्या दस्तऐवजाशी उत्तर तपासून /bye लिहा व बाहेर पडा. स्वतःच्या तपासणीसाठी प्रश्न व खरे उत्तर ठेवा; हा लेख नमुना निकाल देत नाही.

वेगळ्या एकदाच्या वापरात तोच प्रश्न वापरा. Windows च्या PowerShell मध्ये:

PowerShell
$practicePrompt = Read-Host 'Paste your approved practice question'
ollama run gemma4:e2b $practicePrompt

macOS किंवा Linux च्या Bash टर्मिनलमध्ये:

Terminal
read -r -p 'Paste your approved practice question: ' practice_prompt
ollama run gemma4:e2b "$practice_prompt"

खरे एकदाचे उत्तर त्याच स्रोताशी तपासा. दोन्ही उत्तरांचे शब्द एकसारखे हवेत असे नाही; महत्त्वाचे म्हणजे दोन्ही कमांडने अपेक्षित टॅग चालवला आणि प्रत्येक तथ्यात्मक दावा स्रोताशी तुलनेत टिकतो.

4. localhost मधून त्याच मॉडेलला विचारा

हा चॅट API मॉडेल नाव व संदेश POST /api/chat वर घेतो. मूळ मांडणीत उत्तर भागांमध्ये येते; stream: false एक पूर्ण JSON उत्तर मागते. API परिचय स्थानिक मूळ URL http://localhost:11434/api आणि थेट क्लाउड URL https://ollama.com/api वेगळे दाखवतो. स्थानिक विनंतीला API कळ नको.

Windows वर PowerShell पेस्ट केलेल्या प्रश्नातून सुरक्षित JSON बनवू शकते:

PowerShell
$practicePrompt = Read-Host 'Paste the same approved practice question'
$body = @{ model = 'gemma4:e2b'; messages = @(@{ role = 'user'; content = $practicePrompt }); stream = $false } | ConvertTo-Json -Depth 5
$response = Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json; charset=utf-8' -Body $body
$response | Select-Object model, done
$response.message.content

macOS किंवा Linux चे हे Bash उदाहरण Python 3 केवळ प्रश्न JSON मध्ये योग्य रीतीने मांडायला वापरते. आधी python3 आणि curl स्थापित आहेत ते पाहा:

Terminal
read -r -p 'Paste the same approved practice question: ' practice_prompt
export practice_prompt
python3 -c 'import json,os; print(json.dumps({"model":"gemma4:e2b","messages":[{"role":"user","content":os.environ["practice_prompt"]}],"stream":False}))' | curl -fsS 'http://localhost:11434/api/chat' -H 'Content-Type: application/json' --data-binary @-

विनंतीने HTTP यश व एक JSON ऑब्जेक्ट द्यावा ज्यात model डाउनलोड टॅगशी जुळतो, done चे मूल्य true असते आणि message.content रिकामे नसते. खरे उत्तर वाचून स्रोताशी तपासा. यश या विनंतीचे स्थानिक गंतव्य व निवडलेले मॉडेल सिद्ध करते; नमुना संवादावर विसंबण्याऐवजी स्वतःचा आउटपुट ठेवा.

5. चालण्याचे ठिकाण व केवळ स्थानिक सीमा तपासा

मॉडेल लोड असेल तेव्हा चालवा:

Terminal
ollama ps

हा PROCESSOR स्तंभ मॉडेल CPU, GPU किंवा दोन्हींवर लोड आहे ते सांगतो, Ollama च्या नेहमीच्या प्रश्नोत्तरांनुसार. यंत्र प्रत्यक्ष काय दाखवते ते नोंदवा. मॉडेल मेमरीतून निघाले असेल तर दुसरा प्रश्न पाठवून पुन्हा तपासा. पूर्ण झाल्यावर ollama stop gemma4:e2b ने ते मेमरीतून काढू शकता; ollama rm gemma4:e2b ने हटवणे निरीक्षणे साठवल्यावर पर्यायी डिस्क सफाई आहे.

कडक स्थानिक Ollama मांडणीसाठी अधिकृत क्लाउड बंद करण्याचे निर्देश पाळा: disable_ollama_cloud हे ~/.ollama/server.json मध्ये त्या खात्यासाठी ठेवा जे Ollama सर्व्हर चालवते (Windows वर त्या खात्याच्या वापरकर्ता प्रोफाइलमधील .ollama फोल्डर), इतर विद्यमान JSON सेटिंग्ज जपून:

JSON
{
  "disable_ollama_cloud": true
}

Linux वर दस्तऐवजातील systemd सेवा या ओळखीने चालते: User=ollama, जिचा होम /usr/share/ollama आहे; तुमच्या स्वतःच्या होम फाइलने त्या सेवेची मांडणी होणार नाही. systemd स्थापनेत Ollama चा दस्तऐवजातील पर्याय OLLAMA_NO_CLOUD=1 सेवा ओव्हरराइडमध्ये वापरता येतो. आधी विद्यमान सेवा systemctl cat ollama.service ने पाहा, मग ओव्हरराइड sudo systemctl edit ollama.service ने उघडा. खालील भाग [Service] अंतर्गत जोडा आणि इतर ओव्हरराइड सेटिंग्ज जपा:

Snippet
[Service]
Environment="OLLAMA_NO_CLOUD=1"

ओव्हरराइड साठवा, मग सेवा मांडणी पुन्हा लोड करून सेवा पुन्हा सुरू करा:

Terminal
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Windows किंवा macOS वर मांडणी बदलल्यावर Ollama ॲप पुन्हा सुरू करा. सर्व्हर नोंदीत नेमकी ओळ Ollama cloud disabled: true पाहा. Windows वरील दस्तऐवजातील नोंद %LOCALAPPDATA%\Ollama\server.log आहे; macOS वर ~/.ollama/logs/server.log; Linux systemd स्थापनेत journalctl -e -u ollama वापरा. असंबंधित टर्मिनलमधील वातावरण चल आधीपासून चालणाऱ्या ॲप किंवा सेवेपर्यंत पोहोचेलच असे नाही. क्लाउड सुविधा बंद केल्याने Ollama क्लाउड मॉडेल व वेब शोध जातात. नोंदीत पुष्टी नसेल तर केवळ स्थानिक म्हणण्यापूर्वी मांडणी सुधारा व पुन्हा सुरू करा.

सर्व्हर नोंद किंवा कार्यप्रणालीच्या तपासणीत अजूनही 127.0.0.1:11434 वर ऐकत असल्याचे पाहा आणि डाउनलोड टॅगने localhost विनंती पुन्हा करा. OLLAMA_HOST बांधलेला पत्ता बदलू शकतो, म्हणून मूळ मूल्य गृहीत न धरता चालू सर्व्हर तपासा. वेगळी Python लायब्ररी, ब्राउझर इंटरफेस, कोडिंग एजंट किंवा जोडलेले ॲप स्वतःच्या गंतव्य व डेटा मार्गाची तपासणी मागते; स्थानिक Ollama उत्तर त्या ॲपची गोपनीयता सिद्ध करत नाही.

Windows वर PowerShell मध्ये ऐकण्याचा पत्ता पाहा:

PowerShell
Get-NetTCPConnection -LocalPort 11434 -State Listen | Select-Object LocalAddress, LocalPort

macOS वर lsof -nP -iTCP:11434 -sTCP:LISTEN आणि Linux वर ss -ltn '( sport = :11434 )' वापरा. कार्यप्रणालीचे साधन नसेल तर सर्व्हर नोंद पाहा. वाइल्डकार्ड किंवा लूपबॅक नसलेल्या पत्त्याचा तपास केल्याशिवाय API या संगणकापुरता मर्यादित समजू नका.

तपासणी अयशस्वी झाली तर

जर ollama -v किंवा ollama ls अयशस्वी झाले तर योग्य कार्यप्रणालीच्या स्थापना व प्रारंभ पानावर परत जा. localhost जोडणी नाकारणे सहसा ॲप किंवा सेवा बंद असणे किंवा दुसरीकडे ऐकणे दर्शवते; API नेटवर्कवर उघडण्याऐवजी नोंदी व पत्ता तपासा. उत्तर अनेक JSON ओळींमध्ये आल्यास विनंतीत "stream": false आहे ते पाहा. मेमरी कमी किंवा मॉडेल अव्यवहार्यपणे मंद असेल तर ollama ps पाहून लायब्ररीतून खरेच लहान स्थानिक टॅग निवडा. त्याच एका टॅगने डाउनलोड, टर्मिनल व API तपासण्या करा. अपूर्ण टप्पा अप्रमाणित माना.

स्थानिक सरावासाठी हार्डवेअर, वीज व डाउनलोड जागा लागते, पण Ollama API कळ किंवा सशुल्क API खाते नको. मॉडेल परवाना वापर मर्यादित करू शकतो. क्लाउड मॉडेल व पर्यायी तृतीय-पक्ष क्लायंटच्या अटी व डेटा मार्ग स्वतंत्र असतात. हार्डवेअर खरेदीच्या सविस्तर तुलनेसाठी आमचे 128 GB स्थानिक मॉडेल मार्गदर्शन पाहा; Ollama व Claude Code वापरणाऱ्या वेगळ्या कोडिंग कामासाठी तपासलेल्या बदलाचे मार्गदर्शन पाहा.

स्रोत आणि अधिक वाचन

  • Ollama झटपट सुरुवात स्थापना, स्थानिक gemma4:e2b उदाहरण व मेमरी शिफारस सांगते. उदाहरण दस्तऐवज आहे, तुमच्या यंत्राची चाचणी नाही.
  • कमांड लाइन संदर्भ येथे वापरलेल्या सध्याच्या pull, run, ls, ps, stop, rm आणि serve कमांड सांगतो.
  • API परिचय आणि चॅट एंडपॉइंट स्थानिक व क्लाउड पत्ते वेगळे करतात आणि स्ट्रीमविरहित विनंती व उत्तर फील्ड ठरवतात.
  • नेहमीची प्रश्नोत्तरे लूपबॅक बांधणी, प्रोसेसरचे ठिकाण, क्लाउड बंद करणे आणि नोंद तपासणी सांगतात.
  • Gemma 4 E2B पान सध्याचा नेमका टॅग, आकार व परवाना सामग्री देते, डाउनलोडपूर्वी पाहण्यासाठी.