Lokale Modelle mit 128 GB Speicher ausführen: Kosten und Voraussetzungen

Ein Rechner mit 128 GB kann Modelldateien aufnehmen, die nicht auf eine herkömmliche einzelne Grafikkarte passen würden. Die Zahl auf dem Karton muss dennoch sorgfältig eingeordnet werden. AMD Ryzen AI Halo, Apple Mac Studio und NVIDIA DGX Spark nutzen gemeinsamen Systemspeicher, den CPU und GPU teilen. Das ist etwas anderes als 128 GB dedizierter Speicher auf separaten Grafikkarten. Auch Betriebssystem, Modelllaufzeit und Arbeitsspeicher für das Gespräch benötigen Platz.

Dieser Ratgeber richtet sich an technisch versierte Personen, die einen lokalen KI-Rechner für private Inferenz, Programmierung oder Dokumentarbeit auswählen. Ziel ist es, ein passendes Modell und eine Laufzeit zu bestimmen, den Preis eines dafür geeigneten Rechners zu ermitteln und das Ergebnis mit der vorgesehenen Arbeitslast zu prüfen. BIG CHANGE hat die Hardware nicht getestet. Die folgenden Schritte stützen sich auf Herstellerdokumentation und datierte US-Händlerangebote; als Hintergrund dient Repo Chads Video vom 2. Oktober, Every Way to Get 128GB of VRAM for Local AI dient als Hintergrund dafür, warum ältere Preisempfehlungen irreführen können. Die Preise im Video wurden am 30. September geprüft; der aktuelle Vergleich nutzt daher Angebote, die am 10. Oktober UTC geprüft wurden.

Die große Veränderung

• Was sich geändert hat: Käufer können zwischen mehreren Systemen mit 128 GB gemeinsamem Speicher für lokale KI wählen; Software-Stacks und Preise unterscheiden sich stark. Die angegebene Kapazität ist gemeinsam genutzter Systemspeicher und garantiert nicht, dass einem Modell 128 GB zur Verfügung stehen.
• Warum das wichtig ist: Lokale Inferenz kann ausgewählte Daten auf dem Rechner des Eigentümers halten, abhängig von Laufzeit und verbundenen Werkzeugen. Die Kaufentscheidung hängt vom tatsächlichen Speicherbedarf des Modells, der Promptlänge, der Softwareunterstützung und einer akzeptablen Wartezeit ab – nicht allein von der größten Speicherzahl.
• Worauf zu achten ist: NVIDIAs günstigere DGX-Spark-Konfiguration mit 64 GB soll am 23. Oktober erscheinen. Zwei Geräte als vorgeschlagener 128-GB-Pool kosten durch Addition der angekündigten Einstiegspreise mindestens 9.998 US-Dollar. Wer warten kann, sollte das verfügbare Angebot mit einem einzelnen 128-GB-Rechner vergleichen, sobald Partnerpreise und Verfügbarkeit bekannt sind.

Was 128 GB bei den einzelnen Rechnern bedeutet

AMD- ROCm-7.2-Anleitung für Strix Halo vom 20. Februar beschreibt bis zu 128 GB gemeinsamen LPDDR5X-Speicher. Das GPU-System für virtuellen Speicher bildet Teile des gemeinsam genutzten RAM im GPU-Adressraum ab. Der GTT-Grenzwert steuert, wie viel Benutzerprozesse abbilden können; AMD zufolge liegt der Standardwert bei etwa der Hälfte des Systemspeichers. Eine Firmware-Reservierung oder ein höherer Abbildungsgrenzwert macht den gesamten installierten Speicher nicht zu einem separaten Pool dedizierten VRAMs. AMD dokumentiert ein Linux-Dienstprogramm zum Prüfen und Ändern dieses Grenzwerts, amd-ttm und anschließendem Neustart. Ändern Sie ihn nur, nachdem Sie die genaue Maschine, das Betriebssystem und die ROCm-Anleitung geprüft und Speicher für OS und andere Prozesse eingeplant haben.

Apple führt eine Mac-Studio-Konfiguration mit M5 Max und 128 GB gemeinsamem Speicher auf. NVIDIA beschreibt die 128 GB des DGX Spark als kohärenten gemeinsamen Systemspeicher. Bei allen drei Geräten kann ein Modell trotz Gewichten, die nominell in 128 GB passen, nicht laden oder schlecht laufen, sobald Kontext, Key-Value-Cache, Laufzeitpuffer und der Rest des Systems ebenfalls Speicher belegen. Quantisierung kann die Gewichtsdatei verkleinern, verändert sie aber und kann die Qualität beeinflussen. Ein größerer Speicherpool schafft eine Kapazitätsoption; er belegt keine Generierungs- oder Prompt-Verarbeitungsgeschwindigkeit.

Ein datierter US-Kaufvergleich

Dies sind US-Preise vor Steuern, geprüft am 10. Oktober UTC. Lagerbestand und Preise bei Konfiguration auf Bestellung können sich vor dem Bezahlvorgang ändern.

Die Tabelle vergleicht Speicherkapazität und Kaufmöglichkeiten, nicht gemessene Leistung. Das Video des Urhebers nennt Benchmarkwerte verschiedener Dritter, doch Engines, Quantisierungen, Kontextlängen und Testdaten unterscheiden sich. Daraus lässt sich weder eine kontrollierte Geschwindigkeitsrangliste noch ein Preis pro Token für genau diese Konfigurationen ableiten.

Eine lokale Konfiguration auswählen und prüfen

1. Notieren Sie die konkrete Aufgabe und die Datengrenzen. Nennen Sie das gewünschte Modell, die quantisierte Datei oder das Format, den maximal benötigten Kontext und ob der Ablauf von CUDA, ROCm oder macOS-Werkzeugen abhängt. Halten Sie fest, ob Prompts und Dokumente auf dem Rechner bleiben müssen. Ein lokales Modell hält Daten nicht automatisch lokal, wenn die Anwendung Anfragen an einen externen Dienst sendet.
2. Planen Sie Speicher für die gesamte Arbeitslast ein. Gehen Sie von der veröffentlichten Größe der gewählten Modelldatei aus. Planen Sie zusätzlichen Platz für Laufzeit, Kontext und Key-Value-Cache, Betriebssystem und weitere geöffnete Anwendungen ein. Fehlen Angaben für die vorgesehene Laufzeit, gilt die Passform als ungeprüft. Prüfen Sie bei Strix Halo den GPU-Abbildungsgrenzwert anhand der AMD-Anleitung zu ROCm 7.2; dies ist eine Anleitung für eine bestimmte Version. Prüfen Sie AMDs aktuelle einschlägige Hinweise, bevor Sie den gesamten gemeinsamen RAM als GPU-nutzbar betrachten.
3. Ordnen Sie der Plattform eine unterstützte Laufzeit zu. NVIDIAs DGX-Spark-Einrichtungsanleitung nennt llama.cpp, Ollama, vLLM und LM Studio als Optionen; wählen Sie eine Lösung, die das genaue Modellformat und die Plattform unterstützt. Nutzen Sie bei AMD oder Apple die aktuellen Plattformhinweise der Laufzeit, statt einen DGX-Befehl als passend vorauszusetzen. Laden Sie das Modell beim ursprünglichen Anbieter herunter, prüfen Sie Lizenz und Dateigröße und notieren Sie die Modellkennung.
4. Führen Sie einen repräsentativen Prompt aus und prüfen Sie Passform und Zeit. Prüfen Sie, ob das Modell lädt, eine brauchbare Antwort erzeugt und beim vorgesehenen Kontext innerhalb des verfügbaren Speichers bleibt. Messen Sie Prompt-Verarbeitung und Generierung für Ihre eigene Aufgabe getrennt. Das sind Abnahmetests für Käufer, keine von BIG CHANGE beobachteten Ergebnisse. Scheitert das Laden, verringern Sie den Kontext oder wählen Sie eine kleinere Quantisierung oder ein kleineres Modell; prüfen Sie bei AMD vor einer Änderung die dokumentierte Abbildungseinstellung und den verfügbaren Systemspeicher. Ist die Geschwindigkeit unzureichend, beweist eine bloße Speichererweiterung nicht, dass ein anderer 128-GB-Rechner das Problem löst.
5. Kalkulieren Sie die vollständige Entscheidung. Prüfen Sie beim Checkout die genaue Konfiguration, den Filialbestand, Steuern, Speicherplatz, Support und erforderliches Zubehör erneut. Notieren Sie Preis und Datum zusammen mit Modell- und Laufzeitangaben, damit ein späterer Bestands- oder Softwarewechsel einen alten Vergleich nicht aktuell erscheinen lässt.

Dieses Verfahren ergibt einen kurzen Kaufvermerk: genaue Gerätekonfiguration und Checkoutpreis, Modell und Lizenz, Laufzeit- und Betriebssystemversion, erwartetes Speicherbudget sowie ein gemessenes Abnahmeergebnis nach Erhalt der Hardware. Die lesende Person entscheidet, welche Daten an die lokale Anwendung übermittelt und welche Werkzeuge verbunden werden. Hardwarekauf, Installation und jede Richtlinie zur Datenweitergabe bleiben menschliche Entscheidungen.

Quellen und weiterführende Lektüre

• Repo Chad, Every Way to Get 128GB of VRAM for Local AI , veröffentlicht am 2. Oktober 2026. Vergleich des Urhebers und Hintergrund zu früheren Preisen, geprüft am 30. September. Der Titel verwendet „VRAM“ allgemein; die folgenden Herstellerangaben nennen den genauen Speichertyp jedes Produkts. Das Video ist kein Hardwaretest von BIG CHANGE.
• AMD, Strix-Halo-Systemoptimierung, ROCm-7.2-Dokumentation vom 20. Februar 2026. Definiert gemeinsamen Speicher, GPUVM/GTT-Abbildung, den ungefähren Standardgrenzwert und den dokumentierten Anpassungsweg unter Linux. Prüfen Sie vor Änderungen das passende Betriebssystem und die Version.
• AMD-Produktseite für Ryzen AI Halo, geprüft am 11. Oktober 2026. Identifiziert die aktuelle Developer-Plattform; AMDs Leistungsangaben stammen aus Herstellertests und sind kein unabhängiges Ergebnis dieses Ratgebers.
• Micro Center, Angebot für die AMD Ryzen AI Halo Developer Platform, Händleraufnahme vom 10. Oktober UTC. Nennt 3.999,99 US-Dollar, 128 GB/2 TB und mögliche Abholung in mehreren aufgeführten Filialen. Preis und Bestand sind filialabhängig und können sich ändern.
• Apple, technische Daten des Mac Studio, aktueller US-Konfigurator und Ankündigung vom 25. August, geprüft am 10. Oktober UTC. Die technischen Daten bestätigen eine 128-GB-Option für M5 Max. Der Einstiegspreis von 2.499 US-Dollar in der Ankündigung nennt nicht den Preis dieser Option; der hier gelesene aktuelle Store-Konfigurator zeigte den genauen Checkout-Gesamtpreis für 128 GB nicht an.
• NVIDIA Marketplace, DGX Spark, geprüft am 10. Oktober UTC. Belegt im NVIDIA-eigenen Store 128 GB kohärenten gemeinsamen Systemspeicher, einen Preis von 6.950 US-Dollar und den Status „nicht auf Lager“.
• NVIDIA, Ankündigung des DGX Spark mit 64 GB, 2. Oktober 2026. Nennt den Partnerstart am 23. Oktober, den Einstiegspreis von 4.999 US-Dollar und den angekündigten Weg, zwei Geräte zu einem 128-GB-Pool zu verbinden. Am Prüftag lag das 64-GB-Angebot noch in der Zukunft; Leistungsbehauptungen stammen vom Hersteller.