Astra da OpenAI usa técnica 'recurrent depth' que preocupa especialistas

Especialistas em segurança de IA expressaram preocupação com o uso da recorrência opaca, temendo que ela possa dificultar o monitoramento do chain of thought e, no futuro, destruí-lo completamente.

A técnica pode comprometer a capacidade de monitorar o raciocínio da IA, aumentando os riscos de comportamentos indesejados.

Especialistas criticam a adoção da técnica 'recurrent depth' no modelo Astra por reduzir a monitorabilidade do chain of thought e alertam para riscos de segurança.

A preocupação é que a técnica dificulte a supervisão do modelo, permitindo comportamentos perigosos sem detecção.

Zvi Mowshowitz, defensor de segurança de IA, sugeriu que leis podem ser necessárias para evitar uma 'corrida para o fundo do poço' entre laboratórios de IA devido ao uso de técnicas opacas.

A fala indica que a preocupação vai além do caso específico, envolvendo um possível padrão de mercado perigoso.

Críticos como Buck Shlegeris alertam que o uso intensificado de 'recurrent depth' pode destruir a monitorabilidade por chain of thought.

Se a OpenAI expandir a técnica, o modelo pode ficar completamente opaco, impossibilitando a supervisão humana.

OpenAI planeja usar a técnica 'recurrent depth' (recorrência opaca) em seu próximo modelo Astra.

É a primeira confirmação relatada do uso dessa técnica pela OpenAI, detalhada pela publicação The Information.

O uso da técnica no Astra é limitado, segundo informações do The Information.

Contextualiza o escopo atual da adoção, contrastando com a possibilidade de ampliação futura que preocupa especialistas.

Funcionários da OpenAI negaram os relatos sobre o uso da técnica 'opaque recurrence' no Astra.

A negação dos funcionários contrasta com o relato do The Information, indicando disputa sobre o fato.