Ollama 可以在電腦上執行已下載模型,並透過本機 HTTP 位址提供服務。本指南以同一模型名稱,從安裝走到終端機聊天與完整 API 回覆。這是根據文件編寫的程序:BIG CHANGE 未安裝軟體,也未觀察你電腦上的結果。

關鍵改變

  • 改變了什麼: Ollama 提供從下載模型直接使用終端機聊天及本機 API 的途徑。初學者可在每個介面檢查模型名稱與回答,不必假定聊天視窗就能證明推論在哪裡執行。
  • 為何重要: 本機伺服器與 Ollama 雲端 API 是不同目的地。處理獲准的工作或個人任務時,可選已下載模型並存取 localhost,讓練習留在自己的電腦,同時另外檢查伺服器設定。
  • 應留意什麼: 本機 URL 本身無法證明每個功能或連接的應用程式都留在本機。Ollama 也能透過本機伺服器使用雲端模型。關鍵檢查是已安裝模型標籤、請求目的地、伺服器繫結位址;若要求嚴格僅限本機,還須重新啟動後查看停用雲端功能的日誌。

開始之前

使用允許安裝軟體的電腦。挑選無害的事實問題,答案能在已開啟的原始文件核對。指令要求練習提示時,貼上該問題;不要只為測試就輸入私人或受管制資料。保留文件供檢查回答,流暢回覆不是正確性的證明。

需要容納 Ollama 及模型的儲存空間、足以載入所選模型的記憶體,以及安裝下載用的網路連線。Ollama 快速入門使用 gemma4:e2b 作為本機範例,建議有 8 GB 可用顯示記憶體,或 Mac 上的統一記憶體。Ollama 表示可以退回系統記憶體執行,但回答較慢。繼續前查看目前的模型頁面,確認精確標籤、下載大小與授權。下載大小不能證明電腦能執行模型。若不適合你的機器或獲准用途,從可下載的本機模型中選較小的一個,參考模型庫,並把 gemma4:e2b 在下方所有指令中換成其精確標籤。本練習不要選 :cloud 標籤。

1. 安裝 Ollama 並檢查本機伺服器

從官方下載頁面取得 Ollama,依作業系統指示安裝:Windows、macOS或Linux。Windows 與 macOS 上開啟已安裝應用程式。Linux 上依所選安裝方式啟動服務;如果沒有服務執行,快速入門說明可在另一個終端機執行 ollama serve。應用程式或服務已經監聽時,不要再啟動第二個伺服器。

在新終端機檢查已安裝版本與本機伺服器是否回應:

Terminal
ollama -v
ollama ls

記錄實際版本及作業系統。第一次下載前模型清單可能是空的;指令或連線錯誤表示應先修好安裝或伺服器啟動再繼續。Ollama 的常見問題說明預設監聽位址是 127.0.0.1:11434。本練習保留迴路位址,不要設定網路繫結、代理伺服器或通道。

2. 下載一個標籤明確的本機模型

檢查模型頁面後執行:

Terminal
ollama pull gemma4:e2b
ollama ls

下載後,精確標籤必須出現在 ollama ls。記錄標籤、列出大小及模型頁面的授權。下載失敗或標籤不見時,先核對目前模型庫的拼字、磁碟空間、網路,以及代理或權限錯誤,再重試。部分下載不算設定成功。

3. 檢查互動與單次終端機聊天

開始互動聊天:

Terminal
ollama run gemma4:e2b

在聊天提示貼上獲准的練習問題。將回答與用來擬定問題的文件對照,再輸入 /bye 結束。保存問題及實際回答供自己檢查;本文不提供範例結果。

另做單次執行時,使用相同問題。Windows 上在 PowerShell 執行:

PowerShell
$practicePrompt = Read-Host 'Paste your approved practice question'
ollama run gemma4:e2b $practicePrompt

macOS 或 Linux 上在 Bash 終端機執行:

Terminal
read -r -p 'Paste your approved practice question: ' practice_prompt
ollama run gemma4:e2b "$practice_prompt"

將真實單次回答與同一來源比對。兩次回答不必使用一樣措辭;有用的檢查是兩個指令都執行預定標籤,且每項事實陳述都通過來源核對。

4. 透過 localhost 詢問同一模型

這個聊天 API在 POST /api/chat 接收模型名稱和訊息。預設採串流;stream: false 會要求一份完整 JSON 回應。API 簡介區分本機基底 URL http://localhost:11434/api 與直接雲端 URL https://ollama.com/api。本機請求不需要 API 金鑰。

Windows 上可用 PowerShell 根據貼上的問題安全建構 JSON:

PowerShell
$practicePrompt = Read-Host 'Paste the same approved practice question'
$body = @{ model = 'gemma4:e2b'; messages = @(@{ role = 'user'; content = $practicePrompt }); stream = $false } | ConvertTo-Json -Depth 5
$response = Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json; charset=utf-8' -Body $body
$response | Select-Object model, done
$response.message.content

macOS 或 Linux 的以下 Bash 範例,只用 Python 3 將提示正確跳脫為 JSON。使用前確認已安裝 python3 和 curl:

Terminal
read -r -p 'Paste the same approved practice question: ' practice_prompt
export practice_prompt
python3 -c 'import json,os; print(json.dumps({"model":"gemma4:e2b","messages":[{"role":"user","content":os.environ["practice_prompt"]}],"stream":False}))' | curl -fsS 'http://localhost:11434/api/chat' -H 'Content-Type: application/json' --data-binary @-

請求應回傳 HTTP 成功及一個 JSON 物件,其中 model 符合已下載標籤,done 是 true,而且 message.content 非空。閱讀實際回答並對照來源檢查。成功回應能確立這次請求的本機目的地及選定模型;保留自己的輸出,不要依靠範例對話紀錄。

5. 檢查執行位置與僅限本機的邊界

模型載入時執行:

Terminal
ollama ps

這個 PROCESSOR 欄會顯示模型載入 CPU、GPU 或兩者,依據是 Ollama 的常見問題。記錄自己電腦實際顯示什麼。若模型已卸載,送出另一個提示再查看。完成後可用 ollama stop gemma4:e2b 卸載;透過 ollama rm gemma4:e2b 移除模型只是保留觀察後可選的磁碟清理。

若要 Ollama 嚴格僅限本機,請遵循官方停用雲端功能說明:將 disable_ollama_cloud 放入 ~/.ollama/server.json,使用的應是執行 Ollama 伺服器的帳戶(Windows 上該帳戶使用者設定檔中的 .ollama 資料夾),保留其他現有 JSON 設定:

JSON
{
  "disable_ollama_cloud": true
}

Linux 上,文件所述 systemd 服務以 User=ollama 執行,其家目錄是 /usr/share/ollama;編輯自己的家目錄檔案無法設定該服務。systemd 安裝也可採用 Ollama 文件的 OLLAMA_NO_CLOUD=1 替代方式,放在服務覆寫設定中。先以 systemctl cat ollama.service 檢查現有服務,再以 sudo systemctl edit ollama.service 開啟覆寫設定。在 [Service] 下加入以下內容,並保留其他覆寫設定:

Snippet
[Service]
Environment="OLLAMA_NO_CLOUD=1"

儲存覆寫設定,再重新載入並重啟服務:

Terminal
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Windows 或 macOS 修改設定後,重新啟動 Ollama 應用程式。在伺服器日誌找出精確一行 Ollama cloud disabled: true。Windows 上文件記載的日誌是 %LOCALAPPDATA%\Ollama\server.log;macOS 上是 ~/.ollama/logs/server.log;Linux systemd 安裝使用 journalctl -e -u ollama。在無關終端機設定的環境變數,不一定會傳給已執行的應用程式或服務。停用雲端功能會移除 Ollama 雲端模型及網頁搜尋。日誌未確認設定時,先修正設定並重新啟動,再稱為僅限本機。

在伺服器日誌或作業系統監聽檢查工具中確認仍監聽 127.0.0.1:11434,再以已下載標籤重做本機請求。OLLAMA_HOST 可改變繫結位址,因此要檢查執行中的伺服器,不能假定預設值。獨立 Python 程式庫、瀏覽器介面、程式開發代理或其他連接的應用程式,各自需要端點及資料路徑檢查;Ollama 的本機回答不能確立這些應用程式的隱私行為。

Windows 上在 PowerShell 檢查監聽位址:

PowerShell
Get-NetTCPConnection -LocalPort 11434 -State Listen | Select-Object LocalAddress, LocalPort

macOS 上使用 lsof -nP -iTCP:11434 -sTCP:LISTEN;Linux 上使用 ss -ltn '( sport = :11434 )'。平台工具無法使用時,檢查伺服器日誌。萬用字元或非迴路監聽必須先調查,才能將 API 視為僅供這台電腦使用。

檢查失敗時

如果 ollama -v 或 ollama ls 失敗,回到相應作業系統的安裝、啟動頁面。拒絕本機連線通常表示應用程式或服務停止,或監聽別處;核對日誌及繫結位址,不要把 API 暴露至網路。若回應是多行 JSON,確認請求含有 "stream": false。模型記憶體不足或慢到不實用時,檢查 ollama ps,從模型庫挑選真正更小的本機標籤,再以該單一標籤重做下載、終端機及 API 檢查。未完成的階段一律視為未驗證。

本機練習需要硬體、電力及下載儲存空間,但不用 Ollama API 金鑰或付費 API 帳戶。模型授權可能限制預期用途。雲端模型、選配第三方用戶端有各自條款及資料路徑。更深入的硬體採購比較,可看我們的128 GB 本機模型指南;使用 Ollama 與 Claude Code 的另一項程式開發任務,請看已檢查的程式碼變更指南。

來源與延伸閱讀

  • Ollama 快速入門說明安裝途徑、本機 gemma4:e2b 範例及記憶體建議。範例是文件,並非對你機器的測試。
  • 命令列參考列出本文使用的目前 pull、run、ls、ps、stop、rm 和 serve 指令。
  • API 簡介與聊天端點區分本機、雲端位址,定義非串流請求及回應欄位。
  • 常見問題說明迴路繫結、處理器位置、停用雲端功能設定及日誌檢查。
  • Gemma 4 E2B 頁面提供目前精確模型標籤、大小及授權資料,供下載前查核。