AI-translated from English; not yet reviewed by a fluent editor.

# 如何运行 128GB 内存的本地模型及其成本

> 这是一份实用选购指南，介绍用于本地 AI 的 128GB 统一内存系统：模型内存的实际含义、按日期标注的美国价格、平台选择，以及购买前需要核实的事项。

By BIG CHANGE Editorial

Published: 2026-10-10T23:47:09.293Z
Updated: 2026-10-10T23:47:09.293Z
Canonical: https://bigchange.ai/blog/run-local-models-128gb-memory-cost

![Conceptual charcoal illustration of an unbranded compact desktop computer with its cover removed, exposing a circuit board and a small orange connection between memory packages and a compute chip.](https://bigchange.ai/api/media/file/local-model-shared-memory-workstation-hero-v1.png)
AI-generated conceptual editorial illustration by BIG CHANGE.

一台 128GB 电脑可以容纳无法装进传统单块显卡的模型文件。但产品标注的数字仍需仔细解读。AMD Ryzen AI Halo、Apple Mac Studio 和 NVIDIA DGX Spark 都采用 CPU 与 GPU 共享的统一系统内存。这不同于独立显卡上的 128GB 专用显存。操作系统、模型运行时以及对话的工作内存也都需要空间。

本指南面向具备技术能力、正在为隐私推理、编程或文档工作选择一台本地 AI 机器的人。目标是确定适配的模型和运行时，为能运行它们的机器定价，并在预期工作负载上检查结果。BIG CHANGE 未测试这些硬件。以下步骤依据厂商文档和注明日期的美国商店商品信息，并以 [Repo Chad 于 10 月 2 日发布的视频 *《为本地 AI 获取 128GB 显存的各种方式》*](https://youtu.be/Ss7nXHxaJPk)》用作解释旧价格建议为何可能误导的背景资料。视频价格核对于 9 月 30 日，因此本次比较采用 10 月 10 日 UTC 核对的列表。

## 重大变化

- **变化内容：** 买家现在可在多种用于本地 AI 的 128GB 统一内存系统中选择，各自的软件栈和价格差异很大。标称容量是共享系统内存，并不意味着模型可用 128GB。
- **重要性：** 本地推理可让所选数据留在所有者的机器上，但这取决于运行时和连接的工具。购买决策取决于模型的实际内存占用、提示长度、软件支持和可接受的等待时间，而不是单看最大的内存数字。
- **关注事项：** NVIDIA 较低价的 64GB DGX Spark 配置预计于 10 月 23 日上市；按已公布的起售价相加，拟议的双机 128GB 池至少需要 9,998 美元。若能等待，买家可在合作伙伴价格和供货情况明确后，将上市方案与单台 128GB 机器比较。

## 各台机器上的 128GB 究竟意味着什么

AMD 的 [ROCm 7.2 Strix Halo 指南](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)》，日期为 2 月 20 日，说明最多可使用 128GB 统一 LPDDR5X 内存。其 GPU 虚拟内存系统会将部分共享 RAM 映射到 GPU 地址空间。GTT 上限决定用户进程可映射的容量；AMD 表示其默认值约为系统内存的一半。固件预留或更高的映射上限不会把全部已安装内存变成独立的专用显存池。AMD 提供了用于检查和调整该上限的 Linux 工具 `amd-ttm`，然后重启。只有在核实确切机器、操作系统和 ROCm 指南，并为操作系统及其他进程留出内存后，才应更改它。

Apple [列出一款配备 128GB 统一内存的 M5 Max Mac Studio 配置](https://www.apple.com/mac-studio/specs/)。NVIDIA [将 DGX Spark 的 128GB 描述为连贯统一的系统内存](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)》。在这三种机器上，即使模型权重勉强适配名义上的 128GB，运行时上下文、键值缓存、运行时缓冲区和系统其余部分仍会占用内存，模型可能无法加载或运行不佳。量化可以缩小权重文件，但会改变文件，也可能影响质量。更大的内存池只是提供容量选择，并不能证明生成或提示处理速度。

## 一份按日期标注的美国购买比较

以下为美国税前价格，于 10 月 10 日 UTC 核对。库存和按配置订购的价格可能在结账前变化。

| 路线 | 内存与软件决策 | 核对时的价格与供货情况 |
| --- | --- | --- |
| AMD Ryzen AI Halo 开发者平台 | 128GB 统一 LPDDR5X、2TB 存储；请针对所选操作系统核实预期 AMD 运行时和 GPU 映射。 | [Micro Center 标价 3,999.99 美元](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform)，核对时在所列多个门店可到店自提。各门店供货情况不同。 |
| Apple Mac Studio，M5 Max 128GB 配置 | 128GB 统一内存是指定 M5 Max 档位的按配置订购选项；请确认模型运行时支持 macOS 和所选模型格式。 | 这位创作者 [报告称 9 月 30 日在 Apple 结账页面看到 5,099 美元](https://youtu.be/Ss7nXHxaJPk?t=332)，对应 18 核 CPU、40 核 GPU、128GB/512GB 配置。BIG CHANGE 无法在 Apple 当前商店页面确认这一确切总价；购买前请核对实时配置。Apple 的 M5 Max 2,499 美元起售价并非 128GB 配置价格。 |
| NVIDIA DGX Spark 128GB | 128GB 连贯统一系统内存和 NVIDIA CUDA 软件栈。请确认预期工具可在其平台上运行。 | [NVIDIA Marketplace 标价 6,950 美元，且缺货](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)。合作伙伴的库存可能不同。 |
| 两台未来推出的 64GB DGX Spark | NVIDIA 表示可通过 ConnectX-7 和 NVIDIA Sync 将两台 64GB 系统组成 128GB 池；这是双节点配置，需核实工作负载兼容性。 | [NVIDIA 宣布](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)合作伙伴将于 10 月 23 日开始供货，起价 4,999 美元。两台按起售价计算共 9,998 美元，未含税费和可能需要的线缆；核对日期时这仍是未来销售方案。 |

该表比较的是内存容量和购买渠道，而非实测性能。创作者的视频引用了多个第三方基准测试数据，但引擎、量化方式、上下文长度和测试日期各不相同。我们无法据此为这些具体配置做出受控速度排名，也不能给出其每 token 成本。

## 选择并检查本地配置

1. **写下实际任务和数据边界。** 写明要运行的模型、量化文件或格式、所需的最大上下文，以及工作流程是否依赖 CUDA、ROCm 或 macOS 工具。注明提示词和文档是否必须留在本机。如果应用会向外部服务发送请求，本地模型本身并不能让数据留在本地。
2. **为整个工作负载预留内存。** 以所选模型文件公布的大小为起点，并为运行时、上下文和键值缓存、操作系统及其他打开的应用留出空间。如果缺少目标运行时的相关数据，就应视为尚未验证是否适配。在 Strix Halo 上，请根据 [AMD 的 ROCm 7.2 说明](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)；这是有版本号的指南。若要把所有共享内存都视为 GPU 可用内存，请先查阅 AMD 当前适用的最新说明。
3. **为平台匹配受支持的运行时。** NVIDIA 的 [DGX Spark 入门指南](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)》将 llama.cpp、Ollama、vLLM 和 LM Studio 列为可选项；应选择支持确切模型格式和平台的方案。AMD 或 Apple 设备应遵循运行时当前的平台说明，不能假定 DGX 命令适用。请从原始发行方下载模型，核实其许可证和文件大小，并在记录中注明模型标识符。
4. **运行一个有代表性的提示并检查适配性和耗时。** 确认模型能加载、给出可用回答，并在预期上下文长度下不超过可用内存。针对自己的任务分别测量提示处理和生成时间。这些是买家的验收检查，并非 BIG CHANGE 的实测结果。如果无法加载，可缩短上下文或选择更小的量化版本或模型；在 AMD 上，更改映射设置前应先检查文档中的设置说明和可用系统内存。如果速度无法接受，仅增加内存并不能证明换成另一台 128GB 设备就能解决问题。
5. **计算完整方案的价格。** 结账时重新核对确切配置、门店库存、税费、存储、支持和所需配件。把价格和日期与模型及运行时记录放在一起，避免库存或软件变化后，旧比较看起来仍像最新信息。

按此流程可生成一份简短购买记录：确切的机器配置与结账价格、模型和许可证、运行时与操作系统版本、预期内存预算，以及拿到硬件后测得的验收结果。读者可自行决定向本地应用提交哪些数据，以及连接哪些工具。硬件购买、安装和任何数据共享政策仍由人来决定。

## 来源与延伸阅读

- [Repo Chad，*《为本地 AI 获取 128GB 显存的各种方式》*](https://youtu.be/Ss7nXHxaJPk)》，发表于 2026 年 10 月 2 日。创作者的对比和历史价格背景，价格核对于 9 月 30 日。视频标题广义使用“VRAM”；以下厂商规格提供了每种产品确切的内存类型。该视频不是 BIG CHANGE 的硬件测试。
- [AMD，*Strix Halo 系统优化*](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html)》，ROCm 7.2 文档，日期为 2026 年 2 月 20 日。定义统一内存、GPUVM/GTT 映射、约默认值的限制和文档说明的 Linux 调整方式。更改设置前请核对适用操作系统和版本。
- [AMD Ryzen AI Halo 产品页面](https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html)》，核对于 2026 年 10 月 11 日。介绍当前开发者平台；AMD 的性能材料属于厂商测试，并非本指南采用的独立结果。
- [Micro Center，AMD Ryzen AI Halo 开发者平台商品列表](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform)》，于 10 月 10 日 UTC 核对。标价 3,999.99 美元，配置为 128GB/2TB，并显示多个门店可到店自提。库存按门店而异且会变化。
- [Apple，Mac Studio 技术规格](https://www.apple.com/mac-studio/specs/)》，[当前美国配置器](https://www.apple.com/shop/buy-mac/mac-studio) 和 [8 月 25 日公告](https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/)》，于 10 月 10 日 UTC 核对。规格确认 M5 Max 可选 128GB。公告中的 2,499 美元起售价并未标明该选项价格；我们在此读取的实时配置器页面未显示准确的 128GB 配置结账总价。
- [NVIDIA Marketplace，DGX Spark](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046)》，于 10 月 10 日 UTC 核对。确认 NVIDIA 自营商店列出 128GB 连贯统一系统内存、6,950 美元价格和缺货状态。
- [NVIDIA，64GB DGX Spark 公告](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/)》，2026 年 10 月 2 日。公布 10 月 23 日合作伙伴供货日期、4,999 美元起价，以及声称可通过两台设备组成 128GB 池的方案。核对日期时尚未上市；性能说法来自厂商。

## Sources

- [Repo Chad：为本地 AI 获取 128GB 显存的各种方式](https://youtu.be/Ss7nXHxaJPk) — 创作者比较视频，价格核对于 2026 年 9 月 30 日。用于历史背景，以及说明旧价格可能误导的问题；不作为当前价格依据，也不代表 BIG CHANGE 测试过硬件。
- [AMD：Strix Halo 系统优化，ROCm 7.2](https://rocm.docs.amd.com/en/docs-7.2.0/how-to/system-optimization/strixhalo.html) — 说明最多 128GB 统一 LPDDR5X、GPUVM/GTT 映射、默认 GTT 上限，以及文档说明的 Linux 设置路径。这并不意味着所有已安装内存都是专用显存或可供单个模型使用。
- [AMD：Ryzen AI Halo 产品页面](https://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html) — 介绍 AMD 当前的开发者平台。任何 AMD 性能比较都是厂商测试，并未作为本文的独立结果使用。
- [Micro Center：AMD Ryzen AI Halo 开发者平台](https://www.microcenter.com/product/711962/amd-ryzen-ai-halo-developer-platform) — 带日期的零售商快照：3,999.99 美元、128GB/2TB，并显示多个门店可到店自提。价格和库存因门店而异且会变化。
- [Apple：Mac Studio 技术规格](https://www.apple.com/mac-studio/specs/) — 确认 M5 Max 可按配置订购 128GB 统一内存选项。它没有提供经核实的该配置美国结账价格。
- [Apple：当前 Mac Studio 美国配置器](https://www.apple.com/shop/buy-mac/mac-studio) — 打开该页面以核查当前 128GB M5 Max 的结账价格；可读取的文本未显示确切配置总价。不要从起售价推算。
- [Apple：M5 Max 与 M5 Ultra Mac Studio 公告](https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/) — 说明 M5 Max 系列在美国起价 2,499 美元，并给出上市时间。这不是 128GB 配置价格。
- [NVIDIA Marketplace：DGX Spark](https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/dgx-spark/?linkId=100000393960046) — NVIDIA 商店的日期快照：128GB 连贯统一系统内存、6,950 美元，且缺货。合作伙伴库存可能不同。
- [NVIDIA：64GB DGX Spark 与 NVIDIA Sync 公告](https://blogs.nvidia.com/blog/local-ai-dgx-spark-64gb-sync/) — 宣布合作伙伴将从 10 月 23 日起供货，起价 4,999 美元，并介绍通过 ConnectX-7 与 NVIDIA Sync 将两台设备组合为 128GB 池的方案。核对日期时 64GB 方案尚未上市；性能说法来自厂商测试。