O AGENTICO
OSWorld-Verified
conceito · 5 menções
O que as fontes disseram sobre OSWorld-Verified
OSWorld-Verified é um benchmark no qual o modelo Muse Glimmer obtém desempenho inferior ao Qwen3.6-27B, registrando 65,9 pontos contra 75,6 do rival. As fontes destacam que, embora Muse Glimmer supere concorrentes como Gemma4-31B e Qwen3.6-27B em outras tarefas (como MCP Atlas, com 75,5 contra 54,2 e 62,5), ele perde justamente no OSWorld-Verified. Assim, o OSWorld-Verified é citado como um dos testes em que o modelo fica atrás do Qwen3.6-27B.
Evolução
Dados
| Pontuação do Muse Glimmer no MCP Atlas | 75,5 |
| Pontuação do Gemma4-31B no MCP Atlas | 54,2 |
| Pontuação do Qwen3.6-27B no MCP Atlas | 62,5 |
| Pontuação do Muse Glimmer no OSWorld-Verified | 65,9 |
| Pontuação do Qwen3.6-27B no OSWorld-Verified | 75,6 |
| Pontuação do Muse Glimmer no MCP Atlas | 75,5 |
| Pontuação do Gemma4-31B no MCP Atlas | 54,2 |
| Pontuação do Qwen3.6-27B no MCP Atlas | 62,5 |
| Pontuação do Muse Glimmer no OSWorld-Verified | 65,9 |
| Pontuação do Qwen3.6-27B no OSWorld-Verified | 75,6 |
| Pontuação do Muse Glimmer no OSWorld-Verified | 65,9 |
| Pontuação do Qwen3.6-27B no OSWorld-Verified | 75,6 |
Menções
Nos benchmarks, o Muse Glimmer supera concorrentes como Gemma4-31B e Qwen3.6-27B em algumas tarefas, mas perde em outras, como OSWorld-Verified.
O desempenho relativo do modelo é um fato técnico importante, detalhado nos dados publicados pela Meta e reportado por outras fontes.
Nos benchmarks de lançamento, Muse Glimmer supera Gemma4-31B e Qwen3.6-27B em MCP Atlas (75,5 contra 54,2 e 62,5), mas perde para o Qwen3.6-27B em OSWorld-Verified (65,9 contra 75,6).
Comparativo de desempenho mostra competitividade do modelo em tarefas agentic, mas não em todos os quesitos.
Nos benchmarks, o Muse Glimmer supera o Gemma4-31B e o Qwen3.6-27B na tarefa MCP Atlas (75,5 contra 54,2 e 62,5), mas perde para o Qwen3.6-27B em OSWorld-Verified (65,9 contra 75,6).
Embora o modelo se destaque em tarefas agentivas gerais, ele demonstra limitações em benchmarks de interação com sistemas operacionais, indicando áreas para melhoria.
Nos benchmarks, Muse Glimmer supera Gemma4-31B e Qwen3.6-27B em MCP Atlas (75,5 vs 54,2 e 62,5), mas perde em OSWorld-Verified (65,9 vs 75,6).
Fornece evidência quantitativa do desempenho do modelo em tarefas agentic, útil para comparar com rivais.
Apesar de superar os rivais em MCP Atlas, Muse Glimmer perde para o Qwen3.6-27B em benchmarks como OSWorld-Verified, com 65,9 contra 75,6.
Mostra que o modelo da Meta não é dominante em todos os aspectos, indicando uma competição acirrada no segmento de modelos abertos de médio porte.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.