O AGENTICO
Olmo-core 3
produto · 3 menções
AI2O que as fontes disseram sobre Olmo-core 3
O Allen Institute for AI (AI2) lançou o Olmo-core 3, uma estrutura aprimorada para treinar grandes modelos de linguagem com mistura de especialistas (MoE). O projeto visa escalar o treinamento de MoE até a faixa de trilhões de parâmetros, mantendo eficiência computacional. Além disso, o Olmo-core 3 aumenta o pool de especialistas de 8 para 128, selecionando apenas quatro por token, o que reduz custos de comunicação e coordenação.
Menções
O Olmo-core 3 aumenta o pool de especialistas de 8 para 128, enquanto seleciona apenas quatro especialistas por token, reduzindo os custos de comunicação e coordenação.
Esse aumento no número de especialistas ativos por token melhora a eficiência computacional dos modelos MoE, já que apenas uma fração dos parâmetros é usada a cada etapa.
O Olmo-core 3 é projetado para escalar o treinamento de MoE até a faixa de trilhões de parâmetros, mantendo eficiência computacional.
Isso significa que a estrutura permite treinar modelos muito maiores sem incorrer em custos computacionais proporcionais, tornando a pesquisa mais acessível.
O Allen Institute for AI (AI2) lançou o Olmo-core 3, uma estrutura significativamente aprimorada para treinar grandes modelos de linguagem com mistura de especialistas (MoE).
O anúncio marca um avanço no desenvolvimento de infraestrutura aberta para modelos de IA de grande escala, especialmente para pesquisadores acadêmicos e laboratórios menores.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.