Paano Patakbuhin ang mga Lokal na Modelo gamit ang 128GB at Magkano ang Gastos

Kayang maglaman ang isang computer na may 128GB ng mga file ng modelo na hindi magkakasya sa karaniwang iisang graphics card. Kailangan pa ring basahing mabuti ang numerong nasa kahon. Gumagamit ng pinagsasaluhang system memory ng CPU at GPU ang Ryzen AI Halo ng AMD, Mac Studio ng Apple at DGX Spark ng NVIDIA. Iba ito sa 128GB na dedikadong memorya sa mga discrete graphics card. Kailangan din ng puwang para sa operating system, runtime ng modelo at working memory ng usapan.

Ang gabay na ito ay para sa teknikal na bihasang taong pumipili ng isang lokal na AI machine para sa pribadong inference, coding o dokumento. Tukuyin ang modelong kasya at runtime, presyuhan ang makinang kayang magpatakbo sa mga ito, at subukan ang resulta sa nilalayong gawain. Hindi sinubukan ng BIG CHANGE ang hardware. Sinusunod ng mga hakbang ang dokumentasyon ng mga vendor at mga listahan sa tindahan sa US na may petsa, kasama ang video ni Repo Chad noong Oktubre 2, Bawat Paraan para Makakuha ng 128GB na VRAM para sa Lokal na AI, bilang konteksto kung bakit maaaring makalito ang lumang payo sa presyo. Sinuri ang mga presyo nito noong Setyembre 30, kaya mga listahang sinuri noong Oktubre 10 UTC ang kasalukuyang paghahambing.

Ang malaking pagbabago

• Ano ang nagbago: Maaaring pumili ang mamimili sa ilang sistemang may 128GB na pinagsasaluhang memorya para sa lokal na AI, na magkakaiba ang software stack at presyo. Pinagsasaluhan ng system ang ina-advertise na kapasidad, kaya hindi ibig sabihing magagamit ng modelo ang buong 128GB.
• Bakit mahalaga: Maaaring manatili sa makina ng may-ari ang piling datos sa lokal na inference, depende sa runtime at mga konektadong tool. Nakabatay ang pagbili sa aktuwal na gamit ng memorya ng modelo, haba ng prompt, suporta ng software at katanggap-tanggap na oras ng paghihintay, hindi lang sa pinakamalaking bilang ng memorya.
• Ano ang dapat bantayan: Inaasahang ilalabas sa Oktubre 23 ang mas murang 64GB na configuration ng DGX Spark ng NVIDIA, at nagkakahalaga ng hindi bababa sa $9,998 ang iminungkahing 128GB pool na binubuo ng dalawang unit batay sa mga inihayag na panimulang presyo. Maaaring ihambing ng mga kayang maghintay ang inilabas na alok sa iisang 128GB na makina kapag alam na ang presyo at availability ng mga partner.

Ano ang ibig sabihin ng 128GB sa bawat makina

Ang gabay ng AMD sa ROCm 7.2 para sa Strix Halo, na may petsang Pebrero 20, naglalarawan ng hanggang 128GB na unified LPDDR5X. Iniaatas ng GPU virtual memory system nito ang mga bahagi ng pinagsasaluhang RAM sa GPU address space. Kinokontrol ng limitasyon ng GTT kung ano ang maimamapa ng mga proseso ng user; ayon sa AMD, humigit-kumulang kalahati ng system RAM ang default. Hindi ginagawang hiwalay na pool ng dedikadong VRAM ang buong naka-install na memorya dahil lang sa firmware reservation o mas mataas na mapping limit. Nagdodokumento ang AMD ng Linux utility na amd-ttm upang siyasatin at baguhin ang limitasyong iyon, kasunod ang pag-reboot. Baguhin lamang ito matapos tingnan ang eksaktong makina, OS at gabay ng ROCm, at mag-iwan ng memorya para sa OS at iba pang proseso.

Apple ay naglilista ng configuration ng M5 Max Mac Studio na may 128GB na unified memory. Inilalarawan ng NVIDIA ang 128GB ng DGX Spark bilang coherent at pinagsasaluhang system memory. Sa tatlo, maaari pa ring hindi mag-load o tumakbo nang maayos ang modelong kasya ang mga weight nito sa nominal na 128GB kapag gumamit na rin ng memorya ang context, key-value cache, runtime buffer at iba pang bahagi ng system. Nakapagpapaliit ng file ng weight ang quantization ngunit binabago nito ang file at maaaring makaapekto sa kalidad. Nagbibigay ng kapasidad na pagpipilian ang mas malaking pool ng memorya; hindi nito pinatutunayan ang bilis ng pagbuo ng sagot o pagproseso ng prompt.

Paghahambing ng pagbili sa US na may petsa

Mga presyo ito sa US bago ang buwis, sinuri noong Oktubre 10 UTC. Maaaring magbago ang stock at presyo ng configuration bago mag-checkout.

Paghahambing ito ng kapasidad ng memorya at paraan ng pagbili, hindi ng nasukat na performance. May benchmark na numero ang video ng gumawa mula sa ilang ikatlong partido, ngunit magkakaiba ang engine, quantization, haba ng context at petsa ng pagsubok. Hindi natin magagawang kontroladong paghahambing ng bilis o gastos bawat token ang mga numerong iyon para sa eksaktong mga configuration na ito.

Pumili at magsuri ng lokal na setup

1. Isulat ang aktuwal na gawain at hangganan ng datos. Name the model you want to run, the quantized file or format, the maximum context you need and whether the workflow depends on CUDA, ROCm or macOS tooling. Note whether prompts and documents must stay on the machine. A local model does not by itself keep data local if its application sends requests to an external service.
2. Maglaan ng memorya para sa buong workload. Gamitin bilang panimulang punto ang inilathalang laki ng piniling model file. Maglaan pa para sa runtime, context at key-value cache, operating system at iba pang bukas na application. Kung walang datos para sa nilalayong runtime, ituring na hindi pa nabeberipika ang pagkakasya. Sa Strix Halo, tingnan ang limitasyon ng GPU mapping ayon sa mga tagubilin ng AMD sa ROCm 7.2; gabay ito na may partikular na bersyon, kaya tingnan ang pinakabagong naaangkop na tagubilin ng AMD bago ipalagay na magagamit ng GPU ang lahat ng shared RAM.
3. Itugma ang suportadong runtime sa platform. Ang gabay sa pagsisimula ng NVIDIA DGX Spark ay naglilista ng llama.cpp, Ollama, vLLM at LM Studio bilang mga opsyon; pumili ng sumusuporta sa eksaktong format ng modelo at platform. Para sa AMD o Apple, sundin ang kasalukuyang tagubilin ng runtime para sa platform sa halip na ipagpalagay na akma ang command para sa DGX. I-download ang modelo mula sa orihinal nitong distributor, tingnan ang lisensya at laki ng file, at itala ang identifier nito.
4. Magpatakbo ng kinatawang prompt at tingnan kung kasya at gaano ito katagal. Tiyaking naglo-load ang modelo, nagbibigay ng kapaki-pakinabang na sagot at nananatili sa loob ng magagamit na memorya sa nilalayong haba ng context. Sukatin nang magkahiwalay ang pagproseso ng prompt at pagbuo ng sagot para sa sarili mong gawain. Mga pagsusuri ito ng mamimili bago tanggapin, hindi mga resultang nakita ng BIG CHANGE. Kung pumalya ang pag-load, bawasan ang context o pumili ng mas maliit na quantization o modelo; sa AMD, tingnan ang dokumentadong mapping setting at magagamit na system RAM bago baguhin ito. Kung hindi katanggap-tanggap ang bilis, hindi pinatutunayan ng dagdag na memorya lamang na malulutas iyon ng ibang 128GB na kahon.
5. Presyuhan ang buong desisyon. Suriing muli sa checkout ang eksaktong configuration, lokasyon ng stock, buwis, storage, suporta at mga kailangang accessory. Itabi ang presyo at petsa kasama ng tala tungkol sa modelo at runtime upang hindi magmukhang kasalukuyan ang lumang paghahambing kapag nagbago ang stock o software.

Nagbibigay ang pamamaraang ito ng maikling tala sa pagbili: eksaktong configuration at presyo sa checkout, modelo at lisensya, runtime at bersyon ng OS, inaasahang budget sa memorya, at nasukat na resulta ng pagsusuri matapos magkaroon ng access sa hardware. Ang mambabasa ang nagdedesisyon kung anong datos ang ipapadala sa lokal na application at sa mga tool na ikokonekta rito. Desisyon ng tao ang pagbili ng hardware, pag-install at anumang patakaran sa pagbabahagi ng datos.

Mga mapagkukunan at karagdagang babasahin

• Repo Chad, Bawat Paraan para Makakuha ng 128GB na VRAM para sa Lokal na AI, inilathala noong Oktubre 2, 2026. Paghahambing ng gumawa at konteksto ng dating presyo; sinuri ang mga presyo noong Setyembre 30. Malawak ang paggamit ng salitang “VRAM” sa pamagat; inililinaw ng mga detalye ng vendor sa ibaba ang eksaktong uri ng memorya sa bawat produkto. Hindi pagsubok ng hardware ng BIG CHANGE ang video.
• AMD, pag-optimize ng Strix Halo system, dokumentasyon ng ROCm 7.2 na may petsang Pebrero 20, 2026. Ipinapaliwanag ang unified memory, GPUVM/GTT mapping, tinatayang default na limitasyon at dokumentadong landas ng setting sa Linux. Tingnan ang naaangkop na OS at bersyon bago baguhin ang mga setting.
• Pahina ng produkto ng AMD Ryzen AI Halo, sinuri noong Oktubre 11, 2026. Tinutukoy ang kasalukuyang developer platform; pagsubok ng vendor ang materyal ng AMD tungkol sa performance, hindi independiyenteng resultang ginamit sa gabay na ito.
• Micro Center, listahan ng AMD Ryzen AI Halo Developer Platform, sinuri noong Oktubre 10 UTC. Nakasaad ang presyong $3,999.99, configuration na 128GB/2TB at pickup sa ilang nakalistang tindahan. Nagbabago ang stock ayon sa tindahan.
• Mga teknikal na detalye ng Apple Mac Studio, kasalukuyang US configurator at anunsyo noong Agosto 25, sinuri noong Oktubre 10 UTC. Pinatutunayan ng mga detalye ang opsyon na 128GB para sa M5 Max. Hindi presyo ng opsyong iyon ang panimulang presyo na $2,499 sa anunsyo; hindi inilantad ng binasang pahina ng live configurator ang eksaktong kabuuan para sa 128GB. Huwag ipagpalagay iyon mula sa panimulang presyo ng linya.
• NVIDIA Marketplace, DGX Spark, sinuri noong Oktubre 10 UTC. Pinatutunayan ang 128GB coherent unified system memory, listahang $6,950 at kawalan ng stock sa sariling tindahan ng NVIDIA. Maaaring may stock ang mga partner.
• Anunsyo ng NVIDIA para sa 64GB DGX Spark, Oktubre 2, 2026. Nakasaad ang paglabas sa partner sa Oktubre 23, panimulang presyong $4,999 at paraang pagsasama ng dalawang sistema bilang 128GB. Mga pahayag ng NVIDIA ang tungkol sa availability at performance habang hinihintay ang petsa ng paglabas.