O AGENTICO
AI2 lança Olmo-core 3 para treinar modelos MoE mais eficientes
2 fontesdesde 01 de outubro de 20262 artigos
O Allen Institute for AI (AI2) anunciou o lançamento do Olmo-core 3, uma estrutura de treinamento para grandes modelos de linguagem com mistura de especialistas (MoE). A ferramenta permite escalar o treinamento até a faixa de trilhões de parâmetros, mantendo eficiência computacional e reduzindo custos.
Resumo
O Allen Institute for AI (AI2) lançou o Olmo-core 3, uma estrutura significativamente aprimorada para treinar grandes modelos de linguagem com mistura de especialistas (MoE).
O anúncio marca um avanço no desenvolvimento de infraestrutura aberta para modelos de IA de grande escala, especialmente para pesquisadores acadêmicos e laboratórios menores.
O Olmo-core 3 é projetado para escalar o treinamento de MoE até a faixa de trilhões de parâmetros, mantendo eficiência computacional.
Isso significa que a estrutura permite treinar modelos muito maiores sem incorrer em custos computacionais proporcionais, tornando a pesquisa mais acessível.
O Olmo-core 3 aumenta o pool de especialistas de 8 para 128, enquanto seleciona apenas quatro especialistas por token, reduzindo os custos de comunicação e coordenação.
Esse aumento no número de especialistas ativos por token melhora a eficiência computacional dos modelos MoE, já que apenas uma fração dos parâmetros é usada a cada etapa.
O Olmo-core 3 é parte do compromisso contínuo da AI2 em manter abertas as ferramentas e infraestruturas de treinamento usadas para desenvolver seus modelos.
Isso reforça a missão da AI2 de democratizar o acesso à pesquisa em IA, permitindo que outras instituições e pesquisadores utilizem a mesma infraestrutura.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.