O AGENTICO
Buck Shlegeris
pessoa · 2 menções
O que as fontes disseram sobre Buck Shlegeris
Buck Shlegeris, especialista em segurança de IA e CEO da Redwood, criticou a técnica de recorrência opaca por reduzir a monitorabilidade e potencialmente piorar a segurança do modelo. Ele afirmou estar 'extremamente preocupado' com o uso dessa técnica no Astra, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.
Citações
“But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally destroys CoT monitorability.”
CEO da Redwood
“I am extremely concerned by the reporting that Astra uses opaque recurrence,” wrote Redwood CEO Buck Shlegeris in a post after the news broke.”
CEO, Redwood
Menções
Críticos como Buck Shlegeris alertam que o uso intensificado de 'recurrent depth' pode destruir a monitorabilidade por chain of thought.
Se a OpenAI expandir a técnica, o modelo pode ficar completamente opaco, impossibilitando a supervisão humana.
Especialistas em segurança de IA expressaram preocupação com o uso da recorrência opaca, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.
A técnica pode comprometer a capacidade de monitorar o raciocínio da IA, aumentando os riscos de comportamentos indesejados.
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.