Artificial Analysis rebaixa Kimi K3.1 Pro do quarto para o nono lugar

Resumo

• A atualização do Intelligence Index da Artificial Analysis fez o Kimi K3.1 Pro cair do quarto para o nono lugar, atrás de oito modelos fechados.

  A mudança no ranking reduziu a posição do modelo da Moonshot AI em relação aos concorrentes fechados.

• Na versão 5 do Intelligence Index, 60% do índice se baseia em conjuntos de testes privados para dificultar a preparação de modelos com perguntas já conhecidas.

  O uso de perguntas não divulgadas busca reduzir a vantagem de modelos treinados especificamente para avaliações públicas.

• A diferença entre os modelos abertos e os primeiros colocados no índice aumentou de 3 para 12 pontos.

  A nova classificação mostra uma distância maior entre os modelos abertos e o topo do ranking.

• A Artificial Analysis revisou perguntas ambíguas e defeituosas do teste de conhecimento AA-Omniscience ao preparar o novo índice.

  A revisão reconhece que testes fechados também podem conter erros que dificultam a avaliação dos modelos.

Dados

Posição anterior do Kimi K3.1 Pro no índice

quarto lugar

Nova posição do Kimi K3.1 Pro no índice

nono lugar

Modelos fechados à frente do Kimi K3.1 Pro

oito modelos fechados

Parcela do índice baseada em conjuntos de testes privados

60%

Diferença entre modelos abertos e primeiros colocados antes do aumento

3 pontos

Diferença entre modelos abertos e primeiros colocados após o aumento

12 pontos