Comece pela memória
Num servidor de inferência, a primeira pergunta é se o modelo cabe na memória das GPUs. O tamanho do modelo vem do número de parâmetros multiplicado pelos bytes de cada um: 2 bytes em 16 bits, 1 byte em 8 bits e meio byte em 4 bits. Um modelo de 70 bilhões de parâmetros ocupa cerca de 140 GB em 16 bits e cerca de 70 GB em 8 bits.
Além do modelo, cada conversa em andamento guarda um cache de contexto na GPU. Quanto mais usuários simultâneos e mais longo o contexto, maior esse cache. Por isso a conta de memória sempre deixa uma folga, e o configurador da página inicial reserva 20% para ela.
Regra prática para a primeira estimativa: some a memória das GPUs do servidor, tire a folga do cache e do software e compare com a memória da LLM na precisão pretendida. Se faltar memória, suba a GPU, aumente a quantidade ou reduza a precisão. A confirmação vem de um teste com o modelo, o contexto e o número de usuários reais, e dividir um modelo entre GPUs depende do suporte do software de inferência.
As três GPUs de entrada
| GPU | Memória | Potência máxima | Formato |
|---|---|---|---|
| NVIDIA L40S | 48 GB GDDR6 | 350 W | PCIe, dois slots, refrigeração passiva |
| NVIDIA RTX PRO 6000 Blackwell Server Edition | 96 GB GDDR7 | até 600 W | PCIe, versões a ar (dois slots) e líquida (um slot) |
| NVIDIA H200 NVL | 141 GB HBM3e | até 600 W | PCIe, dois slots, a ar; ponte NVLink para 2 ou 4 GPUs |
Especificações publicadas pela NVIDIA, consultadas em 17/10/2026. A potência máxima das três é configurável pelo fabricante do servidor.
L40S
Atende bem modelos de linguagem pequenos e médios, visão computacional, transcrição de áudio e várias aplicações menores dividindo o mesmo servidor. É a entrada de menor custo entre as três.
RTX PRO 6000 Blackwell Server Edition
Dobra a memória por GPU em relação à L40S. Com quatro placas, o servidor soma 384 GB, espaço para modelos de linguagem maiores e para IA generativa de imagem e vídeo.
H200 NVL
Tem a maior memória por placa e memória mais rápida, o que pesa na velocidade de geração de texto. A ponte NVLink liga 2 ou 4 GPUs com banda alta entre elas, útil quando um modelo grande é dividido entre placas.
Duas ou quatro GPUs
- Duas GPUs atendem um modelo principal com folga para crescer, ou dois modelos menores em paralelo. Pedem menos potência e cabem com mais facilidade numa sala existente.
- Quatro GPUs comportam modelos maiores divididos entre as placas e mais usuários simultâneos. A potência do servidor sobe junto, e a sala precisa ser conferida antes.
Um caminho comum é comprar o servidor preparado para quatro GPUs e instalar duas no início. A expansão depois fica mais simples, desde que a fonte, a refrigeração e as placas sejam compatíveis.
Servidores de 8 GPUs
As plataformas HGX reúnem 8 GPUs ligadas por NVLink em um único servidor. O HGX B200, por exemplo, soma 1,4 TB de memória de GPU, e o sistema DGX B200 da NVIDIA tem consumo máximo informado de cerca de 14,3 kW. É outra escala de sala, de energia e de investimento. Atendemos esses projetos sob consulta, com levantamento da sala antes da proposta.
O que entra além das GPUs
- Processadores e memória do sistema: dimensionados para alimentar as GPUs sem gargalo de dados.
- Armazenamento local: discos NVMe para os modelos e os dados de trabalho.
- Rede: placas de 25, 100 ou 200 Gb/s, conforme o tráfego com os usuários e com o armazenamento da empresa.
- Fontes redundantes e gerenciamento remoto do hardware.
Perguntas frequentes
Um modelo de 70 bilhões de parâmetros cabe em quantas GPUs?
Em 16 bits, só os pesos ocupam cerca de 140 GB; em 8 bits, cerca de 70 GB. Somando o cache de contexto e a memória do software, duas H200 NVL (282 GB) ou quatro RTX PRO 6000 (384 GB) são pontos de partida para 16 bits, e uma H200 NVL para 8 bits. A confirmação vem do teste com o modelo, o contexto e o número de usuários reais.