O AGENTICO
Multiverse Computing
empresa · 7 menções
Hugging FaceO que as fontes disseram sobre Multiverse Computing
A Multiverse Computing aplicou o método Quantization-Aware Healing (QAH) a um modelo GPT-OSS de 120B parâmetros comprimido para 60B, com quantização MXFP4 de 4 bits. A equipe publicou o método no blog do Hugging Face em 25 de agosto. Segundo os pesquisadores, em um pipeline de cura baseado em destilação, a quantização é uma oportunidade de supervisão do professor, resultando em um modelo mais barato, mais leve e pelo menos tão preciso quanto a versão em precisão total.
Citações
“We introduce Quantization-Aware Healing (QAH), and applied to a GPT-OSS 120B model compressed to 60B parameters and quantized to MXFP4, it produces a model that beats its own full-precision (bfloat16) version on 7 of 9 benchmarks.”
autores do estudo
“Multiverse Computing's team published a method called Quantization-Aware Healing on the Hugging Face blog on August 25.”
autores do estudo
“The dominant healing recipe is quantization-aware training (QAT). It inserts fake-quantization operators into the forward pass and keeps fine-tuning the model on a task loss, so the weights learn to tolerate the low-precision representation.”
autores do estudo
“The 4-bit model ends up smaller, cheaper to run, and more accurate than the checkpoint it was quantized from.”
autores do estudo
Menções
A equipe da Multiverse Computing publicou um método chamado Quantization-Aware Healing (QAH) no blog do Hugging Face em 25 de agosto.
Estabelece a autoria e a data da publicação do método.
Os pesquisadores afirmam que, em um pipeline de cura baseado em destilação, o passo de quantização não é um custo a ser minimizado, mas uma oportunidade adicional para supervisão do professor, produzindo um modelo ao mesmo tempo mais barato, mais leve e pelo menos tão preciso quanto sua versão em precisão total.
Essa é uma mudança conceitual importante: trata a quantização como benefício no treinamento, não como perda a corrigir.
O método Quantization-Aware Healing foi publicado no blog do Hugging Face em 25 de agosto pela equipe da Multiverse Computing.
A publicação em um canal oficial de uma plataforma de IA valida a divulgação do método para a comunidade técnica.
O método se destaca por ensinar o modelo comprimido a partir da versão original inteligente, e não da versão intermediária fraca.
Explica a contribuição central do método, que melhora a eficiência do processo de compressão.
A versão comprimida superou o modelo original em precisão em 7 de 9 benchmarks, sendo menor, mais barata e mais precisa.
Mostra o resultado contraintuitivo: o modelo menor e comprimido é superior, o que pode influenciar práticas futuras de compressão de IA.
O método Quantization-Aware Healing foi aplicado a um modelo GPT-OSS de 120B parâmetros comprimido para 60B, com quantização MXFP4 de 4 bits.
Detalha a técnica e o modelo específico usados no experimento, mostrando a escala da compressão.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.