O AGENTICO
NVIDIA GB300 NVL72
produto · 2 menções
Dados
| Velocidade por GPU | mais de 4 mil tokens por segundo por GPU |
| Velocidade por usuário | mais de 350 tokens por segundo por usuário |
Menções
A implantação usará sistemas NVIDIA GB300 NVL72 com infraestrutura de refrigeração líquida para cargas de trabalho de IA de alta densidade.
A escolha de hardware e refrigeração é crucial para entender o desempenho e a viabilidade do projeto.
Sem ajuste adicional, o modelo atinge mais de 4 mil tokens por segundo por GPU e mais de 350 tokens por segundo por usuário no NVIDIA GB300 NVL72 em precisão FP8 no dia do lançamento.
Essa performance mostra a viabilidade de implantação em data centers com hardware específico, indicando que o modelo é prático para uso corporativo.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.