O AGENTICO
Buck Shlegeris
pessoa · 2 menções
O que as fontes disseram sobre Buck Shlegeris
Buck Shlegeris, especialista em segurança de IA e CEO da Redwood, criticou a técnica de recorrência opaca por reduzir a monitorabilidade e potencialmente piorar a segurança do modelo. Ele afirmou estar 'extremamente preocupado' com o uso dessa técnica no Astra, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.
Citações
“But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally destroys CoT monitorability.”
Se a OpenAI expandir a técnica, o modelo pode ficar completamente opaco, impossibilitando a supervisão humana.
CEO da Redwood · ver em TechCrunch (AI) ↗
Menções
Críticos como Buck Shlegeris alertam que o uso intensificado de 'recurrent depth' pode destruir a monitorabilidade por chain of thought.
Se a OpenAI expandir a técnica, o modelo pode ficar completamente opaco, impossibilitando a supervisão humana.
Especialistas em segurança de IA expressaram preocupação com o uso da recorrência opaca, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.
A técnica pode comprometer a capacidade de monitorar o raciocínio da IA, aumentando os riscos de comportamentos indesejados.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.