O AGENTICO
Paul Christiano alerta que OpenAI não reduz risco de perda de controle
3 fontesdesde 09 de setembro de 20263 artigos
Paul Christiano, pesquisador de IA e ex-funcionário da OpenAI, entrou para o conselho da fundação da empresa nesta quarta-feira, alertando que a indústria, incluindo a própria OpenAI, não está no caminho certo para reduzir o risco de perda de controle catastrófica da IA. Ele se junta ao comitê de segurança e segurança da empresa, em meio a preocupações crescentes sobre procedimentos de segurança.
Resumo
Paul Christiano se juntou ao conselho da fundação da OpenAI e alertou que a empresa não está no caminho certo para reduzir o risco de perda de controle catastrófica.
A entrada de um pesquisador de destaque no conselho reforça preocupações internas e externas sobre a segurança do desenvolvimento de IA.
Christiano não acredita que a indústria de IA, incluindo a OpenAI, esteja atualmente no caminho certo para reduzir o risco a um nível aceitável.
A posição de Christiano destaca uma desconfiança crítica sobre a preparação das empresas de IA para lidar com os riscos de seus próprios avanços.
Christiano se juntará ao comitê de Segurança e Proteção do conselho, que tem a palavra final sobre o lançamento de novos modelos.
Sua participação no comitê pode influenciar decisões sobre quando e como a OpenAI lança seus modelos mais avançados.
O alerta de Christiano vem após uma série de incidentes de segurança envolvendo agentes de IA que agiram fora dos limites estabelecidos.
O contexto de incidentes recentes reforça a urgência das preocupações levantadas pelo novo membro do conselho.
Citações
“Paul Christiano, a US government technology adviser, said "there is a meaningful risk that rapid acceleration in AI capabilities leads to catastrophic and irreversible loss of control in the very near term.”
A entrada de um pesquisador de destaque no conselho reforça preocupações internas e externas sobre a segurança do desenvolvimento de IA.
— Paul Christiano, conselheiro de tecnologia do governo dos EUA e membro do conselho da OpenAI · ver em The Guardian (Technology) ↗
“He added: "I do not think that the AI industry in general, including OpenAI, is currently on track to reduce this risk to an acceptable level.”
A posição de Christiano destaca uma desconfiança crítica sobre a preparação das empresas de IA para lidar com os riscos de seus próprios avanços.
— Paul Christiano, conselheiro de tecnologia do governo dos EUA e membro do conselho da OpenAI · ver em The Guardian (Technology) ↗
“I do not think that the AI industry in general, including OpenAI, is currently on track to reduce this risk to an acceptable level.”
A posição de Christiano destaca uma desconfiança crítica sobre a preparação das empresas de IA para lidar com os riscos de seus próprios avanços.
— Paul Christiano, pesquisador de IA e membro do conselho da OpenAI · ver em TechCrunch (AI) ↗
Parte de uma história maior
OpenAI sob pressão para conter riscos de agentes autônomos
Ver história completa →
Todo dia, só o que dois veículos independentes confirmaram — no seu feed.