Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# 如何以 128GB 記憶體執行本機模型及其成本

> 為本機 AI 的 128GB 統一記憶體系統提供實用購買指南：模型記憶體實際代表什麼、附日期的美國價格、平台選擇，以及購買前應檢查的事項。

By BIG CHANGE Editorial

Published: 2026-10-10T23:47:09.293Z
Updated: 2026-10-10T23:47:09.293Z
Canonical: https://bigchange.ai/blog/run-local-models-128gb-memory-cost

![Conceptual charcoal illustration of an unbranded compact desktop computer with its cover removed, exposing a circuit board and a small orange connection between memory packages and a compute chip.](https://bigchange.ai/api/media/file/local-model-shared-memory-workstation-hero-v1.png)
AI-generated conceptual editorial illustration by BIG CHANGE.

128GB 電腦可容納傳統單張顯示卡放不下的模型檔案。不過，產品標示的數字仍須仔細解讀。AMD Ryzen AI Halo、Apple Mac Studio 與 NVIDIA DGX Spark 使用 CPU 和 GPU 共用的統一系統記憶體。這不同於獨立顯示卡上的 128GB 專用記憶體。作業系統、模型執行環境與對話工作記憶體也都需要空間。

本指南適合正在為私人推論、程式設計或文件工作挑選一台本機 AI 電腦的技術使用者。目標是找出適用的模型與執行環境、估算能執行它們的電腦價格，並在預期工作負載上檢查結果。BIG CHANGE 未測試這些硬體。以下步驟依據廠商文件與附日期的美國商店商品資訊，並以 [Repo Chad 10 月 2 日的影片，*Every Way to Get 128GB of VRAM for Local AI*](https://youtu.be/Ss7nXHxaJPk)》作為舊價格建議可能造成誤導的背景資料。影片價格於 9 月 30 日查核，因此本次比較採用 10 月 10 日 UTC 查核的商品資訊。

## 重大變化

- **變更內容：** 買家現在可在多種 128GB 本機 AI 統一記憶體系統之間選擇，各自的軟體堆疊和價格差異很大。標示容量是共用系統記憶體，不代表模型可使用完整 128GB。
- **重要性：** 本機推論可讓選定資料留在所有者的電腦上，但仍取決於執行環境和連線工具。購買決策應考量模型實際記憶體用量、提示長度、軟體支援及可接受的等待時間，而不是只看最大的記憶體數字。
- **觀察重點：** NVIDIA 較低價的 64GB DGX Spark 預計於 10 月 23 日推出；依公布的起始價格相加，提議中的雙機 128GB 記憶體池至少為 9,998 美元。若能等待，買家可在合作夥伴價格與供貨情況明朗後，再將上市方案與單台 128GB 電腦比較。

## 各台電腦上的 128GB 代表什麼

AMD 的 [ROCm 7.2 Strix Halo 指南](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)》，日期為 2 月 20 日，說明最多可使用 128GB 統一 LPDDR5X。其 GPU 虛擬記憶體系統會將部分共用 RAM 對映至 GPU 位址空間。GTT 上限控制使用者程序可對映的容量；AMD 表示預設值約為系統 RAM 的一半。韌體保留區或更大的對映上限，不會把全部已安裝記憶體變成獨立的專用 VRAM 池。AMD 文件提供 Linux 工具，可檢查與調整此上限，`amd-ttm`然後重新開機。只有在確認確切機型、作業系統與 ROCm 指南，並為作業系統和其他程序保留記憶體後，才應變更。

Apple [列出搭載 128GB 統一記憶體的 M5 Max Mac Studio 配置](https://www.apple.com/mac-studio/specs/)。NVIDIA [將 DGX Spark 的 128GB 描述為連貫的統一系統記憶體](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)。在這三種電腦上，即使模型權重勉強符合名義上的 128GB，一旦上下文、鍵值快取、執行環境緩衝區及系統其他部分也使用記憶體，模型仍可能無法載入或效能不佳。量化可縮小權重檔案，但會改變檔案，也可能影響品質。較大的記憶體池提供容量選項，卻不能證明生成或提示處理速度。

## 附日期的美國購買比較

以下為 10 月 10 日 UTC 查核的美國未稅價格。庫存與客製訂購價格可能在結帳前變動。

| 路線 | 記憶體與軟體決策 | 查核時的價格與供貨情況 |
| --- | --- | --- |
| AMD Ryzen AI Halo 開發者平台 | 128GB 統一 LPDDR5X、2TB 儲存空間；請依所選作業系統確認預定使用的 AMD 執行環境與 GPU 對映。 | [Micro Center 標價 3,999.99 美元](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform)，查核時多家列出的門市可供店內取貨。各店供貨情況不同。 |
| Apple Mac Studio，M5 Max 128GB 配置 | 128GB 統一記憶體是指定 M5 Max 等級的客製選項；請確認模型執行環境支援 macOS 和所選模型格式。 | 創作者 [報導於 9 月 30 日在 Apple 結帳時看到 5,099 美元](https://youtu.be/Ss7nXHxaJPk?t=332)，對應 18 核心 CPU、40 核心 GPU、128GB/512GB 配置。BIG CHANGE 無法在 Apple 目前商店頁面確認該確切總額；購買前請核對即時配置。Apple 的 M5 Max 2,499 美元起價並非 128GB 配置價格。 |
| NVIDIA DGX Spark 128GB | 128GB 連貫統一系統記憶體與 NVIDIA CUDA 軟體堆疊。請確認預定工具可在其平台運作。 | [NVIDIA Marketplace 標價 6,950 美元且缺貨](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)。合作夥伴庫存可能不同。 |
| 兩台尚未推出的 64GB DGX Spark 系統 | NVIDIA 表示，可透過 ConnectX-7 與 NVIDIA Sync 將兩台 64GB 系統組成 128GB 記憶體池；這是雙節點設定，須確認工作負載相容性。 | [NVIDIA 宣布](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)合作夥伴將於 10 月 23 日開始供貨，起價每台 4,999 美元。兩台起價合計 9,998 美元，未含稅及可能需要的連接線；查核日當時這仍是未來供應方案。 |

表格比較記憶體容量與購買管道，並非實測效能。創作者影片引用多家第三方基準測試數據，但引擎、量化版本、上下文長度和測試日期各不相同。我們無法據此為這些特定配置建立受控速度排名，也不能推算每 token 成本。

## 選擇並檢查本機設定

1. **記下實際任務與資料界線。** 寫下要執行的模型、量化檔案或格式、所需最大上下文，以及工作流程是否依賴 CUDA、ROCm 或 macOS 工具。註明提示詞與文件是否必須留在這台機器上。如果應用程式會向外部服務傳送請求，僅使用本機模型並不能確保資料留在本機。
2. **為整體工作負載預留記憶體。** 以所選模型檔案公布的大小為起點，並為執行環境、上下文與鍵值快取、作業系統及其他開啟的應用程式預留空間。若缺少目標執行環境的相關資料，就應視為尚未驗證是否適用。在 Strix Halo 上，請依據 [AMD 的 ROCm 7.2 說明](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)；這是特定版本的指南。若要將所有共用 RAM 視為 GPU 可用，請先查閱 AMD 最新且適用的說明。
3. **為平台選擇受支援的執行環境。** NVIDIA 的 [DGX Spark 入門指南](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)》列出 llama.cpp、Ollama、vLLM 與 LM Studio 等選項；請選擇支援確切模型格式與平台的工具。AMD 或 Apple 應依執行環境目前的平台說明操作，不要假設 DGX 指令適用。請從原始發行者下載模型、確認授權與檔案大小，並記下模型識別碼。
4. **執行具代表性的提示並檢查是否適用及所需時間。** 確認模型能載入、產生可用回答，且在預期上下文長度下不超過可用記憶體。針對自己的任務分別測量提示處理與生成時間。這些是買家驗收項目，不是 BIG CHANGE 的實測結果。若載入失敗，可縮短上下文或選擇較小的量化版本或模型；AMD 使用者在變更設定前，應檢查文件所述的對映設定與可用系統 RAM。若速度無法接受，單純增加記憶體並不能證明另一台 128GB 電腦會解決問題。
5. **計算整體方案的價格。** 結帳時重新確認確切配置、門市庫存、稅金、儲存空間、支援與必要配件。將價格和日期與模型及執行環境筆記放在一起，避免日後庫存或軟體改變，使舊比較看似最新資訊。

此流程會產生簡短購買紀錄：確切機器配置與結帳價格、模型與授權、執行環境和作業系統版本、預期記憶體預算，以及取得硬體後量測的驗收結果。讀者可控制提交給本機應用程式的資料，以及連線的工具。硬體購買、安裝和任何資料分享政策仍由人決定。

## 資料來源與延伸閱讀

- [Repo Chad，*Every Way to Get 128GB of VRAM for Local AI*](https://youtu.be/Ss7nXHxaJPk)》，於 2026 年 10 月 2 日發布。創作者比較與歷史價格背景，價格查核於 9 月 30 日。影片標題廣義使用「VRAM」；以下廠商規格提供各產品確切記憶體類型。這不是 BIG CHANGE 的硬體測試。
- [AMD，*Strix Halo 系統最佳化*](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)》，ROCm 7.2 文件，日期為 2026 年 2 月 20 日。定義統一記憶體、GPUVM/GTT 對映、約略的預設上限與文件記載的 Linux 調整方法。變更設定前請確認適用的作業系統和版本。
- [AMD Ryzen AI Halo 產品頁面](https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html)》，查核於 2026 年 10 月 11 日。介紹目前的開發者平台；AMD 效能資料屬於廠商測試，並非本指南採用的獨立結果。
- [Micro Center：AMD Ryzen AI Halo 開發者平台商品頁](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform)》，於 10 月 10 日 UTC 查核。標價 3,999.99 美元，配置為 128GB/2TB，並顯示多家門市可供店內取貨。價格和庫存因門市而異且會變動。
- [Apple：Mac Studio 技術規格](https://www.apple.com/mac-studio/specs/)》，[目前美國配置器](https://www.apple.com/shop/buy-mac/mac-studio) 與 [8 月 25 日公告](https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/)》，於 10 月 10 日 UTC 查核。規格確認 M5 Max 可選 128GB。公告中的 2,499 美元起價並未說明此選項價格；本次讀取的目前商店配置器頁面未顯示 128GB 配置的確切結帳總額。
- [NVIDIA Marketplace：DGX Spark](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)》，查核於 10 月 10 日 UTC。NVIDIA 自營商店列出 128GB 連貫統一系統記憶體、6,950 美元價格，並標示缺貨。
- [NVIDIA：64GB DGX Spark 公告](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)》，2026 年 10 月 2 日。提供 10 月 23 日合作夥伴供貨日期、4,999 美元起價，以及宣稱可將兩台系統組成 128GB 記憶體池的方案。查核日當時 64GB 商品尚未推出；效能說法為廠商測試。

## Sources

- [Repo Chad：Every Way to Get 128GB of VRAM for Local AI](https://youtu.be/Ss7nXHxaJPk) — 創作者比較，價格查核於 2026 年 9 月 30 日。用於歷史背景和舊價格可能造成誤導的討論，不作為目前價格依據，也不是 BIG CHANGE 硬體測試。
- [AMD：Strix Halo 系統最佳化，ROCm 7.2](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html) — 說明最多 128GB 統一 LPDDR5X、GPUVM/GTT 對映、預設 GTT 上限，以及文件記載的 Linux 設定方式。這不代表已安裝的所有 RAM 都是專用 VRAM，或可供單一模型使用。
- [AMD Ryzen AI Halo 產品頁](https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html) — 介紹 AMD 目前的開發者平台。AMD 效能比較屬於廠商測試，並未在此當作獨立結果使用。
- [Micro Center：AMD Ryzen AI Halo 開發者平台](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform) — 附日期的零售商快照：3,999.99 美元、128GB/2TB，且列有多家門市可店內取貨。價格和庫存會因門市而異並可能變動。
- [Apple：Mac Studio 技術規格](https://www.apple.com/mac-studio/specs/) — 確認 M5 Max 可客製選購 128GB 統一記憶體。頁面未提供經查證的美國結帳價格。
- [Apple：目前 Mac Studio 美國配置器](https://www.apple.com/shop/buy-mac/mac-studio) — 開啟此頁面以查核目前 128GB M5 Max 結帳價格；可讀文字未揭露該配置的確切總額。不要從起始價格推算。
- [Apple：M5 Max 與 M5 Ultra Mac Studio 公告](https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/) — 說明 M5 Max 系列在美國起價 2,499 美元，並提供推出時程。這不是 128GB 配置的價格。
- [NVIDIA Marketplace：DGX Spark](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046) — NVIDIA 商店的附日期快照：128GB 連貫統一系統記憶體、6,950 美元，並標示缺貨。合作夥伴庫存可能不同。
- [NVIDIA：64GB DGX Spark 與 NVIDIA Sync 公告](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/) — 宣布 10 月 23 日起由合作夥伴供貨，起價 4,999 美元，並介紹透過 ConnectX-7 和 NVIDIA Sync 將兩台設備組成 128GB 記憶體池的方法。查核日當時 64GB 方案尚未推出；效能宣稱為廠商測試。