Ollama kann ein heruntergeladenes Modell auf deinem Computer ausführen und an einer lokalen HTTP-Adresse bereitstellen. Dieser Leitfaden führt ein Modell von der Installation über Terminalchat bis zur vollständigen API-Antwort und verwendet überall denselben Modellnamen. Das Verfahren beruht auf Dokumentation: BIG CHANGE hat die Software nicht installiert und keine Ergebnisse auf deinem Rechner beobachtet.

Die große Veränderung

  • Was sich geändert hat: Ollama bietet einen direkten Weg vom heruntergeladenen Modell zu Terminalchat und lokaler API. Einsteiger können Modellname und Antwort an jeder Schnittstelle prüfen, statt aus einem Chatfenster auf den Ausführungsort der Inferenz zu schließen.
  • Warum das wichtig ist: Lokaler Server und Ollamas Cloud-API sind unterschiedliche Ziele. Für eine erlaubte berufliche oder private Aufgabe kannst du diese Übung auf deinem Computer halten, indem du ein heruntergeladenes Modell auswählst und localhost ansprichst, während du die Serverkonfiguration gesondert prüfst.
  • Worauf zu achten ist: Eine lokale URL allein belegt nicht, dass alle Funktionen und angeschlossenen Anwendungen lokal bleiben. Ollama kann über den lokalen Server auch Cloud-Modelle verwenden. Entscheidend sind installiertes Modell-Tag, Anfrageziel, Bind-Adresse des Servers und bei strikt lokalem Betrieb die Cloud-Deaktivierungsmeldung im Log nach dem Neustart.

Vor dem Start

Nutze einen Computer, auf dem du Software installieren darfst. Wähle eine harmlose Sachfrage, deren Antwort du in einem geöffneten Originaldokument prüfen kannst. Füge sie ein, wenn die Befehle nach einer Übungsfrage fragen; gib nicht nur zum Test private oder regulierte Daten ein. Halte das Dokument zur Antwortprüfung bereit, denn eine flüssige Antwort beweist keine Richtigkeit.

Du brauchst Speicherplatz für Ollama und das Modell, genügend Arbeitsspeicher zum Laden und Internet für Installation und Download. Ollamas Schnellstart verwendet gemma4:e2b als lokales Beispiel und empfiehlt 8 GB verfügbaren VRAM, auf einem Mac entsprechend gemeinsamen Arbeitsspeicher. Ollama kann laut eigener Aussage auf System-RAM ausweichen, mit langsameren Antworten. Prüfe die aktuelle Modellseite vorab auf exaktes Tag, Downloadgröße und Lizenz. Die Downloadgröße beweist nicht, dass dein Computer das Modell ausführen kann. Passt es nicht zu Gerät oder erlaubtem Einsatz, wähle ein kleineres herunterladbares lokales Modell aus der Bibliothek und ersetze gemma4:e2b in jedem folgenden Befehl durch dessen exaktes Tag. Wähle für diese Übung kein :cloud-Tag.

1. Ollama installieren und lokalen Server prüfen

Lade Ollama von der offiziellen Downloadseite und folge den Anweisungen deines Betriebssystems: Windows, macOS oder Linux. Öffne unter Windows und macOS die installierte App. Unter Linux folgst du der gewählten Installationsmethode und startest den Dienst; läuft kein Dienst, empfiehlt der Schnellstart, ollama serve in einem separaten Terminal auszuführen. Starte keinen zweiten Server, wenn eine App oder ein Dienst bereits lauscht.

Prüfe in einem neuen Terminal die installierte Version und ob der lokale Server antwortet:

Terminal
ollama -v
ollama ls

Notiere tatsächliche Version und Betriebssystem. Vor dem ersten Download darf die Modellliste leer sein; bei Befehls- oder Verbindungsfehlern behebst du erst Installation oder Serverstart. Ollamas FAQ nennt als Standard-Lauschadresse 127.0.0.1:11434. Belasse sie für diese Übung auf Loopback; richte keine Netzwerkbindung, keinen Proxy und keinen Tunnel ein.

2. Ein genaues lokales Modell herunterladen

Führe nach Prüfung der Modellseite Folgendes aus:

Terminal
ollama pull gemma4:e2b
ollama ls

Das exakte Tag muss nach dem Download in ollama ls erscheinen. Notiere Tag, angezeigte Größe und Lizenz der Modellseite. Scheitert der Download oder fehlt das Tag, prüfe vor dem nächsten Versuch Schreibweise in der aktuellen Bibliothek, freien Speicher, Netzwerkzugriff und Proxy- oder Berechtigungsfehler. Ein Teildownload ist keine erfolgreiche Einrichtung.

3. Interaktiven und einmaligen Terminalchat prüfen

Starte einen interaktiven Chat:

Terminal
ollama run gemma4:e2b

Füge deine genehmigte Übungsfrage in die Chateingabe ein. Vergleiche die Antwort mit dem für die Frage verwendeten Dokument und gib dann /bye zum Beenden ein. Bewahre Frage und echte Antwort für deine Prüfung auf; der Artikel liefert kein Beispielergebnis.

Für einen separaten Einmallauf nutzt du dieselbe Frage. Unter Windows in PowerShell:

PowerShell
$practicePrompt = Read-Host 'Paste your approved practice question'
ollama run gemma4:e2b $practicePrompt

In einem Bash-Terminal unter macOS oder Linux:

Terminal
read -r -p 'Paste your approved practice question: ' practice_prompt
ollama run gemma4:e2b "$practice_prompt"

Prüfe die tatsächliche Einzelantwort anhand derselben Quelle. Beide Antworten müssen nicht gleich formuliert sein; wichtig ist, dass beide Befehle das vorgesehene Tag ausführen und jede Tatsachenbehauptung dem Quellenvergleich standhält.

4. Dasselbe Modell über localhost fragen

Die Chat-API nimmt Modellname und Nachrichten unter POST /api/chat entgegen. Standardmäßig liefert sie einen Datenstrom; stream: false fordert eine vollständige JSON-Antwort an. Die API-Einführung unterscheidet die lokale Basis-URL http://localhost:11434/api von der direkten Cloud-URL https://ollama.com/api. Die lokale Anfrage braucht keinen API-Schlüssel.

Unter Windows kann PowerShell das JSON sicher aus deiner eingefügten Frage aufbauen:

PowerShell
$practicePrompt = Read-Host 'Paste the same approved practice question'
$body = @{ model = 'gemma4:e2b'; messages = @(@{ role = 'user'; content = $practicePrompt }); stream = $false } | ConvertTo-Json -Depth 5
$response = Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json; charset=utf-8' -Body $body
$response | Select-Object model, done
$response.message.content

Unter macOS oder Linux nutzt dieses Bash-Beispiel Python 3 nur zum korrekten JSON-Escaping der Frage. Prüfe vorher, dass python3 und curl installiert sind:

Terminal
read -r -p 'Paste the same approved practice question: ' practice_prompt
export practice_prompt
python3 -c 'import json,os; print(json.dumps({"model":"gemma4:e2b","messages":[{"role":"user","content":os.environ["practice_prompt"]}],"stream":False}))' | curl -fsS 'http://localhost:11434/api/chat' -H 'Content-Type: application/json' --data-binary @-

Die Anfrage sollte HTTP-Erfolg und ein JSON-Objekt liefern, dessen model deinem heruntergeladenen Tag entspricht, done den Wert true hat und message.content nicht leer ist. Lies und prüfe die tatsächliche Antwort anhand der Quelle. Eine erfolgreiche Antwort belegt lokales Ziel und gewähltes Modell dieser Anfrage; bewahre eigene Ausgabe auf, statt dich auf ein Beispielprotokoll zu verlassen.

5. Ausführungsort und lokale Grenze prüfen

Führe bei geladenem Modell Folgendes aus:

Terminal
ollama ps

Die Spalte PROCESSOR zeigt laut Ollamas FAQ, ob das Modell auf CPU, GPU oder beidem geladen ist. Notiere die tatsächliche Anzeige. Wurde es bereits entladen, sende eine weitere Frage und prüfe erneut. Nach Abschluss kannst du es mit ollama stop gemma4:e2b entladen; Entfernen per ollama rm gemma4:e2b ist optionale Speicherbereinigung, nachdem du deine Beobachtungen gespeichert hast.

Für eine strikt lokale Ollama-Einrichtung folge den offiziellen Anweisungen zur Cloud-Deaktivierung: Setze disable_ollama_cloud in ~/.ollama/server.json für das Konto, das den Ollama-Server ausführt (unter Windows der Ordner .ollama im Benutzerprofil dieses Kontos), und bewahre andere bestehende JSON-Einstellungen:

JSON
{
  "disable_ollama_cloud": true
}

Unter Linux läuft der dokumentierte systemd-Dienst als User=ollama mit dem Home-Verzeichnis /usr/share/ollama; das Bearbeiten der Datei in deinem eigenen Home konfiguriert diesen Dienst nicht. Bei einer systemd-Installation kannst du stattdessen Ollamas dokumentierte Alternative OLLAMA_NO_CLOUD=1 in einem Dienst-Override setzen. Untersuche zuerst den bestehenden Dienst mit systemctl cat ollama.service, öffne dann ein Override mit sudo systemctl edit ollama.service. Ergänze Folgendes unter [Service] und behalte andere Override-Einstellungen bei:

Snippet
[Service]
Environment="OLLAMA_NO_CLOUD=1"

Speichere das Override, lade die Dienstkonfiguration neu und starte den Dienst neu:

Terminal
sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Starte nach Konfigurationsänderungen unter Windows oder macOS die Ollama-App neu. Suche im Serverlog die exakte Zeile Ollama cloud disabled: true. Unter Windows ist das dokumentierte Log %LOCALAPPDATA%\Ollama\server.log, unter macOS ~/.ollama/logs/server.log; bei einer Linux-systemd-Installation nutzt du journalctl -e -u ollama. Eine Umgebungsvariable aus einem unbeteiligten Terminal erreicht eine bereits laufende App oder einen Dienst nicht unbedingt. Die Cloud-Deaktivierung entfernt Ollamas Cloud-Modelle und Websuche. Bestätigt das Log die Einstellung nicht, korrigiere die Konfiguration und starte neu, bevor du die Einrichtung als rein lokal bezeichnest.

Bestätige im Serverlog oder mit der Listener-Prüfung deines Betriebssystems, dass weiterhin 127.0.0.1:11434 verwendet wird, und wiederhole die localhost-Anfrage mit dem heruntergeladenen Tag. OLLAMA_HOST kann die Bind-Adresse ändern; prüfe den laufenden Server, statt den Standard anzunehmen. Eine separate Python-Bibliothek, Browseroberfläche, ein Programmieragent oder eine andere verbundene Anwendung braucht eigene Endpunkt- und Datenwegprüfungen. Ollamas lokale Antwort belegt nicht das Datenschutzverhalten dieser Anwendung.

Unter Windows untersuchst du die Lauschadresse in PowerShell:

PowerShell
Get-NetTCPConnection -LocalPort 11434 -State Listen | Select-Object LocalAddress, LocalPort

Unter macOS nutzt du lsof -nP -iTCP:11434 -sTCP:LISTEN, unter Linux ss -ltn '( sport = :11434 )'. Fehlt ein Plattformwerkzeug, prüfe das Serverlog. Ein Wildcard- oder Nicht-Loopback-Listener muss untersucht werden, bevor du die API als auf diesen Computer begrenzt behandelst.

Wenn eine Prüfung fehlschlägt

Falls ollama -v oder ollama ls fehlschlägt, gehe zur passenden Installations- und Startseite des Betriebssystems zurück. Eine abgelehnte localhost-Verbindung bedeutet meist, dass App oder Dienst gestoppt sind oder anderswo lauschen. Prüfe Logs und Bind-Adresse, statt die API im Netzwerk freizugeben. Kommt die Antwort als mehrere JSON-Zeilen, stelle sicher, dass die Anfrage "stream": false enthält. Fehlt Speicher oder ist das Modell unpraktisch langsam, prüfe ollama ps und wähle ein wirklich kleineres lokales Tag aus der Bibliothek. Wiederhole Download, Terminal und API mit diesem einen Tag. Jede nicht abgeschlossene Phase bleibt ungeprüft.

Diese lokale Übung braucht Hardware, Strom und Downloadspeicher, aber keinen Ollama-API-Schlüssel oder kostenpflichtiges API-Konto. Die Modelllizenz kann deinen Einsatzzweck beschränken. Cloud-Modelle und optionale Drittanbieter-Clients haben eigene Bedingungen und Datenwege. Für einen ausführlicheren Hardware-Kaufvergleich lies unseren Leitfaden zu lokalen Modellen mit 128 GB; für eine andere Programmieraufgabe mit Ollama und Claude Code unseren Leitfaden zur geprüften Änderung.

Quellen und weiterführende Informationen

  • Ollama-Schnellstart erklärt Installation, lokales Beispiel gemma4:e2b und Speicherempfehlung. Das Beispiel ist Dokumentation, kein Test deines Rechners.
  • CLI-Referenz listet die aktuellen Befehle pull, run, ls, ps, stop, rm und serve für dieses Verfahren auf.
  • API-Einführung und Chat-Endpunkt trennen lokale und Cloud-Adressen und definieren Anfrage ohne Datenstrom sowie Antwortfelder.
  • FAQ dokumentiert Loopback-Bindung, Prozessorbelegung, Cloud-Deaktivierung und Logprüfung.
  • Gemma 4 E2B-Modellseite liefert aktuelles exaktes Tag, Größe und Lizenzunterlagen zur Prüfung vor dem Download.