AMD MI355X supera NVIDIA B300 em custo-benefício ao executar o Kimi K3

Em 31 de julho de 2026, o pesquisador Ian Ye, em conjunto com a equipe de engenharia da Wafer, publicou uma análise detalhada demonstrando que o acelerador de inteligência artificial AMD MI355X alcançou uma taxa de 952 tok/s/node ao servir o modelo open source Kimi K3. Os dados revelam que, embora o chip NVIDIA B300 mantenha a liderança em taxa de transferência absoluta, a solução da AMD entregou uma eficiência financeira superior, registrando 48 tok/s/$ contra 33 tok/s/$ do concorrente da arquitetura Blackwell.

A ascensão de modelos abertos com capacidades equivalentes aos sistemas proprietários de topo transformou o cenário de infraestrutura de inteligência artificial. Recentemente, modelos como o GLM5.2 (com 753B de parâmetros) e o DeepSeek V4-Pro (com 1,6T de parâmetros) aproximaram-se dos níveis do Claude Opus. No entanto, o lançamento do Kimi K3 estabeleceu um novo marco ao atingir uma escala massiva de 2,8 trilhões de parâmetros, exigindo soluções de hardware com densidade extrema de memória VRAM.

Para carregar os pesos do Kimi K3, são necessários mais de 1,5 TB de VRAM antes mesmo de alocar o pool de cache KV para um contexto de 1 milhão de tokens. Essa exigência impossibilita a execução do modelo em um único nó padronizado de GPUs NVIDIA B200 (composto por 8 aceleradores de 192 GB de VRAM cada, totalizando 1,536 TB). As opções viáveis do mercado reduzem-se a implantar clusters com nós de NVIDIA B300 (dotados de 288 GB de VRAM por GPU), utilizar dois nós combinados de B200 em paralelismo TP16, ou adotar o AMD MI355X, que também conta com 288 GB de VRAM por unidade.

A arquitetura de hardware e custos

O acelerador AMD MI355X destaca-se no mercado de servidores por oferecer a mesma capacidade de memória de 288 GB de VRAM presente no NVIDIA B300, mas a um custo drasticamente inferior. O preço médio por hora de GPU alocada para o MI355X está estimado em US$ 2,50/GPU-hr, representando um valor aproximadamente 2,4 vezes mais barato que o valor do NVIDIA B300 (cotado a US$ 6,00/GPU-hr) e cerca de 1,7 vez mais barato que o NVIDIA B200 (cotado a US$ 4,25/GPU-hr).

A tabela de custos e métricas consolidada pela equipe da Wafer detalha o impacto dessa precificação nas diferentes topologias de execução do Kimi K3:

• 8× AMD MI355X (TP8): Decodificação por stream de 118 tok/s, vazão máxima agregada de 952 tok/s (119 tok/s por GPU) e eficiência de 48 tok/s/$.
• 2×8 NVIDIA B200 (TP16): Decodificação por stream de 90 tok/s, vazão máxima agregada de 498 tok/s (31 tok/s por GPU) e eficiência de 7 tok/s/$.
• 8× NVIDIA B300 (TP8+DCP8): Decodificação por stream de 172 tok/s, vazão máxima agregada de 1.568 tok/s (196 tok/s por GPU) e eficiência de 33 tok/s/$.

A penalização severa de desempenho sofrida pelo arranjo com duas máquinas de NVIDIA B200 ocorre porque a topologia TP16 obriga a execução de operações all-reduce cruzando a rede física no caminho crítico da decodificação. A interconexão via RoCE v2 a aproximadamente 195 Gb/s atua como um gargalo de garrafa, degradando a vazão agregada do nó de 16 GPUs para apenas 498 tok/s (cerca de 249 tok/s por nó).

O foco da AMD na expansão da capacidade de memória HBM provou ser decisivo para lidar com modelos da escala do Kimi K3. A capacidade de manter os 2,8T parâmetros e o cache de contexto em um único nó contendo 8 aceleradores elimina a dependência da latência de rede inter-nós, permitindo superar a topologia multi-nó do B200 tanto em velocidade absoluta quanto em custo operacional.

Ajustes no ecossistema ROCm

Historicamente, o suporte de software e a ausência de kernels otimizados no primeiro dia de lançamento (day-0 support) representaram as principais barreiras para a adoção das GPUs da AMD na execução de modelos na fronteira tecnológica. No caso do Kimi K3, a AMD disponibilizou suporte no dia do lançamento, exigindo da equipe da Wafer apenas intervenções pontuais na camada do framework sglang sobre o ambiente ROCm.

Para otimizar a velocidade de inferência, a principal alavanca utilizada foi a decodificação especulativa. Como o Kimi K3 não inclui tensores de rascunho nativos (como MTP ou EAGLE), a única alternativa viável foi a implementação de um modelo externo de rascunho por difusão em bloco: o Kimi-K3-DSpark, desenvolvido pela RadixArk. Enquanto essa solução operou nativamente sobre CUDA, a primeira requisição real no ambiente ROCm interrompeu o escalonador do sistema com uma exceção de software:

NameError: name 'top_k_renorm_prob' is not defined. Did you mean: 'top_p_renorm_prob'?

A investigação realizada por Ian Ye apontou que o verificador de amostragem do sglang possui dois caminhos de execução para construir a distribuição do modelo-alvo: uma rota densa que invoca a função top_k_renorm_prob e uma rota rápida esparsa baseada no operador torch.topk. Na compilação para CUDA, o método é importado diretamente da biblioteca sgl_kernel. No entanto, o build direcionado ao ROCm mapeava apenas o kernel Triton para top-p, deixando o método para top-k indefinido por falta de uma implementação específica para a arquitetura gfx950.

A solução do problema não exigiu a escrita de um kernel customizado em linguagem C++ ou Triton. A equipe da Wafer implementou uma função pura em PyTorch diretamente no ramo de amostragem do sglang voltado ao ROCm. O algoritmo executa a reordenação (sort), o mascaramento de valores inferiores (masked_fill) e a normalização (divisão pela soma) para reescalar o vetor de probabilidades para que a soma seja igual a 1.

Com a correção da decodificação especulativa, a aceleração obtida no MI355X foi expressiva. O sistema registrou um ganho de aproximadamente 2,2 vezes no desempenho de stream único, uma elevação de 1,7 vez por stream sob carga moderada e um aumento de +18% na taxa de transferência agregada máxima. Além disso, a concorrência suportada no pico de vazão saltou de c24 (sem especulação) para c64 (com especulação ativa).

Otimizações na fase de prefill

Embora a métrica de tokens de decodificação por segundo seja o indicador mais divulgado na indústria, o tempo até o primeiro token (TTFT, ou time-to-first-token) é a variável que afeta diretamente a percepção de latência pelo usuário final. Em cenários envolvendo contextos longos de até 1 milhão de tokens, a etapa de prefill (processamento do prompt inicial) pode criar gargalos severos de infraestrutura.

Nos testes preliminares com uma carga fria de 172 mil tokens de entrada, o acelerador AMD MI355X levou cerca de 51 segundos para concluir a fase de prefill, enquanto o NVIDIA B300 finalizou o mesmo processo em apenas 23 segundos. O tempo excessivo mantinha os nós de computação ocupados por quase um minuto antes de iniciar a geração da resposta.

A análise de profiling revelou que o atraso era provocado pela falha no carregamento do kernel otimizado de atenção AITER MLA no ROCm, forçando o sistema a recorrer a um kernel genérico e lento escrito em Triton. O motivo da falha não era a ausência do código na biblioteca, mas sim uma incompatibilidade nas dimensões da matriz de atenção (shape mismatch).

Na configuração de paralelismo de tensor TP8 utilizada para o Kimi K3, o modelo distribui 12 cabeças de atenção por rank. Contudo, o kernel de alta performance AITER MLA foi projetado para processar matrizes com 4, 8 ou múltiplos de 16 cabeças. A divergência fazia o mecanismo de otimização falhar silenciosamente e acionar o código fallback.

A correção foi efetuada adicionando um preenchimento com zeros (zero-padding) para expandir temporariamente a contagem de cabeças de atenção de 12 para 16. O kernel ultrarrápido do AITER foi então executado com sucesso e, na saída da operação, os tensores das 12 cabeças reais foram extraídos. Essa alteração fez o prefill em estado estável subir de uma taxa de ~4–7k tok/s (no fallback Triton) para ~13k tok/s na implementação em assembly otimizado (AITER MLA prefill ASM), reduzindo o tempo total da etapa em cerca de 2 a 3 vezes.

Evolução do ecossistema e conclusões

O trabalho de engenharia divulgado em 31 de julho de 2026 consolida uma sequência de avanços da Wafer no suporte à linha de aceleradores da AMD. Em 3 de julho de 2026, a empresa já havia demonstrado a execução do modelo GLM5.2 no MI355X atingindo 2.626 tok/s/node e 213 tok/s em stream único, com um custo por token mais de duas vezes inferior ao da arquitetura NVIDIA Blackwell.

Adicionalmente, em 17 de julho de 2026, a equipe liderada por Rishiraj Dutta Gupta anunciou a integração do servidor serverless de alta velocidade da Wafer com a plataforma TrueFoundry AI Gateway, permitindo roteamento unificado, observabilidade e retenção zero de dados em ambientes corporativos que utilizam APIs compatíveis com a OpenAI.

A necessidade de intervenções manuais em nível de código para extrair o rendimento máximo das placas AMD tem diminuído a cada ciclo de lançamento de modelos. Como destacou Ian Ye em seu relatório, a infraestrutura pronta para uso do MI355X exigiu significativamente menos ajustes do que os frameworks anteriores, sinalizando que a barreira de software historicamente associada à arquitetura CUDA está sendo reduzida pelo trabalho conjunto da comunidade open source e de agentes automatizados de otimização de código.