Como executar modelos locais com 128 GB de memória e quanto custa

Um computador de 128 GB pode acomodar ficheiros de modelos que não caberiam numa única placa gráfica convencional. Ainda assim, é preciso interpretar com cuidado o número anunciado. AMD Ryzen AI Halo, Apple Mac Studio e NVIDIA DGX Spark usam memória unificada do sistema, partilhada entre CPU e GPU. Isso difere de 128 GB de memória dedicada em placas gráficas discretas. O sistema operativo, o runtime do modelo e a memória de trabalho da conversa também precisam de espaço.

Este guia destina-se a uma pessoa com conhecimentos técnicos que escolha uma máquina de IA local para inferência privada, programação ou trabalho com documentos. O objetivo é identificar um modelo e um runtime que caibam, calcular o preço de uma máquina capaz de os executar e verificar o resultado na carga de trabalho pretendida. A BIG CHANGE não testou o hardware. Os passos abaixo seguem documentação dos fabricantes e anúncios datados de lojas dos EUA, usando como contexto o vídeo de 2 de outubro de Repo Chad, Every Way to Get 128GB of VRAM for Local AI é usado como contexto para explicar por que razão recomendações de preços antigas podem induzir em erro. Os preços do vídeo foram verificados a 30 de setembro; por isso, a comparação atual usa anúncios consultados a 10 de outubro UTC.

A grande mudança

• O que mudou: Um comprador pode escolher entre vários sistemas de memória unificada de 128 GB para IA local, com pilhas de software e preços muito diferentes. A capacidade anunciada é memória partilhada do sistema e não garante 128 GB disponíveis para o modelo.
• Porque é importante: A inferência local pode manter determinados dados na máquina do proprietário, dependendo do runtime e das ferramentas ligadas. A decisão de compra depende do uso real de memória do modelo, do tamanho do prompt, do suporte de software e do tempo de espera aceitável, não apenas do maior número de memória.
• O que deve acompanhar: A configuração DGX Spark de 64 GB, mais barata, deverá chegar a 23 de outubro; o conjunto proposto de duas unidades com 128 GB custa pelo menos 9.998 dólares pela soma dos preços iniciais anunciados. Quem puder esperar poderá comparar a oferta lançada com uma máquina única de 128 GB quando forem conhecidos os preços e a disponibilidade dos parceiros.

O que significam 128 GB em cada máquina

A documentação orientação ROCm 7.2 para Strix Halo, datada de 20 de fevereiro, descreve até 128 GB de LPDDR5X unificada. O sistema de memória virtual da GPU mapeia partes dessa RAM partilhada no espaço de endereçamento da GPU. O limite GTT controla o que os processos do utilizador podem mapear; a AMD diz que o valor predefinido corresponde aproximadamente a metade da RAM do sistema. Uma reserva de firmware ou um limite de mapeamento maior não transforma toda a memória instalada num conjunto separado de VRAM dedicada. A AMD documenta um utilitário Linux para consultar e ajustar esse limite, amd-ttm, seguido de um reinício. Altere-o apenas depois de verificar a máquina, o sistema operativo e a orientação ROCm exatos, deixando memória para o SO e outros processos.

A Apple apresenta uma configuração do Mac Studio com M5 Max e 128 GB de memória unificada. A NVIDIA descreve os 128 GB do DGX Spark como memória unificada coerente do sistema. Nas três máquinas, um modelo cujos pesos caibam nos 128 GB nominais pode ainda não carregar ou funcionar mal quando o contexto, a cache key-value, os buffers do runtime e o resto do sistema também ocupam memória. A quantização pode reduzir o tamanho dos pesos, mas altera o ficheiro e pode afetar a qualidade. Um conjunto maior oferece uma opção de capacidade; não comprova a velocidade de geração nem de processamento do prompt.

Uma comparação de compra nos EUA com data

Estes são preços nos EUA antes de impostos, consultados a 10 de outubro UTC. O stock e os preços de configurações por encomenda podem mudar antes do pagamento.

A tabela compara capacidade de memória e acesso à compra, não desempenho medido. O vídeo do criador apresenta valores de benchmarks de vários terceiros, mas os motores, as quantizações, os contextos e as datas de teste diferem. Não é possível transformar esses valores numa classificação de velocidade controlada nem num custo por token para estas configurações específicas.

Escolher e verificar uma configuração local

1. Registe a tarefa concreta e os limites dos dados. Indique o modelo que pretende executar, o ficheiro ou formato quantizado, o contexto máximo necessário e se o fluxo depende de ferramentas CUDA, ROCm ou macOS. Registe se os prompts e documentos têm de permanecer no computador. Um modelo local não mantém, por si só, os dados locais se a aplicação enviar pedidos para um serviço externo.
2. Reserve memória para toda a carga de trabalho. Use como ponto de partida o tamanho publicado do ficheiro do modelo escolhido. Reserve espaço para o runtime, o contexto e a cache key-value, o sistema operativo e outras aplicações abertas. Se faltarem informações para o runtime pretendido, considere a compatibilidade por verificar. No Strix Halo, analise o limite de mapeamento da GPU segundo as instruções ROCm 7.2 da AMD; trata-se de um guia associado a uma versão. Consulte as instruções atuais aplicáveis da AMD antes de considerar toda a RAM partilhada utilizável pela GPU.
3. Associe um runtime compatível à plataforma.A orientação de introdução ao DGX Spark indica llama.cpp, Ollama, vLLM e LM Studio como opções; escolha uma que suporte o formato exato do modelo e a plataforma. Para AMD ou Apple, siga as instruções atuais da plataforma no runtime, sem presumir que um comando DGX se aplica. Descarregue o modelo do distribuidor original, verifique a licença e o tamanho do ficheiro e registe o identificador do modelo.
4. Execute um prompt representativo e verifique a compatibilidade e o tempo. Confirme que o modelo carrega, produz uma resposta útil e cabe na memória disponível para o contexto pretendido. Meça separadamente o processamento do prompt e a geração para a sua tarefa. São verificações de aceitação do comprador, não resultados observados pela BIG CHANGE. Se não carregar, reduza o contexto ou escolha uma quantização ou um modelo menor; em AMD, verifique a definição de mapeamento documentada e a RAM disponível antes de a alterar. Se a velocidade for inaceitável, mais memória, por si só, não prova que outra máquina de 128 GB resolva o problema.
5. Calcule o custo da decisão completa. Volte a confirmar a configuração exata, o stock da loja, os impostos, o armazenamento, o suporte e os acessórios necessários no checkout. Registe o preço e a data junto das notas sobre o modelo e o runtime, para que uma alteração posterior de stock ou software não faça uma comparação antiga parecer atual.

Este procedimento produz um breve registo de compra: configuração exata e preço no checkout, modelo e licença, versões do runtime e do sistema operativo, orçamento de memória previsto e resultado de aceitação medido depois de obter o hardware. O leitor controla os dados enviados para a aplicação local e as ferramentas a que esta se liga. A compra do hardware, a instalação e qualquer política de partilha de dados continuam a ser decisões humanas.

Fontes e leituras adicionais

• Repo Chad, Every Way to Get 128GB of VRAM for Local AI, publicado a 2 de outubro de 2026. Comparação do criador e contexto de preços históricos, consultados a 30 de setembro. O título usa “VRAM” num sentido amplo; as especificações dos fabricantes abaixo indicam o tipo de memória exato de cada produto. O vídeo não é um teste de hardware da BIG CHANGE.
• AMD, Otimização do sistema Strix Halo, documentação ROCm 7.2, datada de 20 de fevereiro de 2026. Define memória unificada, mapeamento GPUVM/GTT, o limite predefinido aproximado e o procedimento documentado de ajuste em Linux. Confirme o sistema operativo e a versão aplicáveis antes de alterar definições.
• Página do produto AMD Ryzen AI Halo, consultada a 11 de outubro de 2026. Identifica a plataforma atual para programadores; os dados de desempenho da AMD são testes do fabricante, não resultados independentes usados neste guia.
• Micro Center, anúncio da Plataforma de programadores AMD Ryzen AI Halo, registo do retalhista consultado a 10 de outubro UTC. Indica 3.999,99 dólares, configuração de 128 GB/2 TB e recolha disponível em várias lojas. O preço e o stock variam por loja e podem mudar.
• Apple, especificações técnicas do Mac Studio, configurador atual dos EUA e anúncio de 25 de agosto, consultados a 10 de outubro UTC. As especificações confirmam a opção de 128 GB para o M5 Max. O preço inicial de 2.499 dólares do anúncio não indica o preço dessa opção; o configurador atual da loja consultado aqui não revelou o total exato no checkout da configuração de 128 GB.
• NVIDIA Marketplace, DGX Spark, consultado a 10 de outubro UTC. Confirma 128 GB de memória unificada coerente, o preço de 6.950 dólares e a indisponibilidade na loja própria da NVIDIA.
• NVIDIA, anúncio do DGX Spark de 64 GB, de 2 de outubro de 2026. Indica a disponibilidade por parceiros a 23 de outubro, o preço inicial de 4.999 dólares e a via anunciada para combinar dois sistemas num conjunto de 128 GB. Na data da consulta, a oferta de 64 GB ainda era futura; as alegações de desempenho são do fabricante.