Anthropic CEO Dario Amodei pede desaceleração no desenvolvimento de IA

Dario Amodei publicou um ensaio no sábado pedindo que a indústria de IA desacelere o ritmo de desenvolvimento de modelos.

O pedido do CEO da Anthropic marca uma posição pública relevante sobre os riscos da corrida de IA.

O ensaio foi publicado após alertas de pesquisadores sobre riscos existenciais da IA, incluindo a renúncia de um pesquisador da Anthropic.

O contexto de alertas e renúncias aumenta a relevância e urgência do pedido de Amodei.

O ensaio de Dario Amodei foi publicado no sábado e tem como título 'We Must Pace the Frontier'.

O título do ensaio é o nome dado à proposta de desacelerar o desenvolvimento de IA.

A segunda etapa do plano propõe que as empresas de IA em países democráticos coordenem e estabeleçam padrões comuns de segurança e limites para o progresso não verificado.

A segunda etapa busca uma ação coordenada da indústria, possivelmente com agências governamentais, para estabelecer padrões comuns.

A terceira etapa do plano de Amodei é coordenar com governos autoritários, como China e Rússia, para desacelerar o desenvolvimento e adotar padrões globais de segurança, mantendo a liderança tecnológica dos EUA.

A terceira etapa é considerada a mais desafiadora por envolver governos autoritários e a manutenção da vantagem tecnológica americana.

Amodei afirmou no ensaio que a Anthropic está se preparando para um IPO histórico, embora a data não tenha sido oficialmente divulgada.

O anúncio do IPO ocorre em um momento de crescente atenção sobre os riscos da IA e pode ser visto como parte do contexto do anúncio.

Amodei propôs um plano de três pontos chamado 'pacing the frontier' para desacelerar deliberadamente o ritmo do desenvolvimento de IA.

A proposta de Amodei é um pedido explícito para que a indústria adote medidas de precaução, o que pode afetar a velocidade de lançamento de novos modelos.

A Anthropic se comprometeu unilateralmente com a primeira etapa do plano, que concede a avaliadores externos de organizações como a METR acesso de nível de funcionário aos seus sistemas.

Isso marca uma ação concreta da empresa em resposta aos apelos por mais segurança na IA.

O pesquisador da Anthropic Jacob Coxon renunciou em setembro, afirmando que a empresa e a OpenAI estavam 'correndo direto para a superinteligência auto-melhorável e jogando com nossas vidas'.

A renúncia de um pesquisador de segurança é um sinal de alerta interno sobre os riscos do desenvolvimento acelerado de IA.

O ensaio foi publicado após a Anthropic divulgar um relatório de inteligência de ameaças revelando que seus modelos Claude foram usados por vários atores para desenvolvimento de armas, operações cibernéticas, vigilância e fraudes.

O relatório demonstra os riscos práticos já associados ao uso da tecnologia de IA da empresa.

O ensaio de Dario Amodei propõe um plano de três etapas para desacelerar o desenvolvimento de IA, incluindo monitoramento independente, padrões comuns entre empresas de países democráticos e coordenação global com governos autoritários.

O plano detalha como a indústria pode desacelerar sem perder vantagem comercial ou a liderança dos EUA.

O ensaio de Amodei foi publicado após a renúncia do pesquisador da Anthropic Jacob Coxon, que afirmou que a empresa e a OpenAI estavam 'correndo direto para a superinteligência auto-melhorável e jogando com nossas vidas'.

A renúncia de Coxon intensificou o debate sobre segurança de IA na semana do ensaio.