O AGENTICO
Astra da OpenAI usa técnica 'recurrent depth' que preocupa especialistas
3 fontesdesde 02 de setembro de 20263 artigos
O próximo modelo da OpenAI, Astra, usará a técnica 'recurrent depth' (ou recorrência opaca), que permite raciocinar fora do pensamento sequencial e pode dificultar o monitoramento do chain of thought. Especialistas em segurança de IA expressaram preocupação com a opacidade resultante, temendo a destruição da monitorabilidade.
Resumo
Especialistas em segurança de IA expressaram preocupação com o uso da recorrência opaca, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.
A técnica pode comprometer a capacidade de monitorar o raciocínio da IA, aumentando os riscos de comportamentos indesejados.
Especialistas criticam a adoção da técnica 'recurrent depth' no modelo Astra por reduzir a monitorabilidade do chain of thought e alertam para riscos de segurança.
A preocupação é que a técnica dificulte a supervisão do modelo, permitindo comportamentos perigosos sem detecção.
Zvi Mowshowitz, defensor de segurança de IA, sugeriu que leis podem ser necessárias para evitar uma 'corrida para o fundo do poço' entre laboratórios de IA devido ao uso de técnicas opacas.
A fala indica que a preocupação vai além do caso específico, envolvendo um possível padrão de mercado perigoso.
Críticos como Buck Shlegeris alertam que o uso intensificado de 'recurrent depth' pode destruir a monitorabilidade por chain of thought.
Se a OpenAI expandir a técnica, o modelo pode ficar completamente opaco, impossibilitando a supervisão humana.
OpenAI planeja usar a técnica 'recurrent depth' (recorrência opaca) em seu próximo modelo Astra.
É a primeira confirmação relatada do uso dessa técnica pela OpenAI, detalhada pela publicação The Information.
O uso da técnica no Astra é limitado, segundo informações do The Information.
Contextualiza o escopo atual da adoção, contrastando com a possibilidade de ampliação futura que preocupa especialistas.
Funcionários da OpenAI negaram os relatos sobre o uso da técnica 'opaque recurrence' no Astra.
A negação dos funcionários contrasta com o relato do The Information, indicando disputa sobre o fato.
Citações
“I am extremely concerned by the reporting that Astra uses opaque recurrence,” wrote Redwood CEO Buck Shlegeris in a post after the news broke.”
— Buck Shlegeris, CEO, Redwood
“Longtime AI safety advocate Zvi Mowshowitz also weighed in and wrote that laws might be necessary to prevent a “race to the bottom” among AI labs.”
— Zvi Mowshowitz, Defensor de segurança de IA
“But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally destroys CoT monitorability.”
— Buck Shlegeris, CEO da Redwood
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.