OpenAI dissolve equipe de Preparedness e redistribui riscos de IA

Resumo

• Jan Leike, ex-funcionário da OpenAI, criticou a empresa por priorizar 'produtos brilhantes' em vez de segurança.

  A crítica de Leike, que já foi líder de segurança, reforça as preocupações sobre as prioridades da OpenAI.

• Greg Brockman afirmou que a OpenAI integrou o trabalho de segurança mais diretamente no desenvolvimento de modelos.

  A declaração do cofundador tenta rebater as acusações de que a segurança foi deixada em segundo plano após a dissolução da equipe.

• O co-fundador Greg Brockman afirmou que a segurança foi integrada mais fortemente ao desenvolvimento de modelos.

  A declaração de Brockman busca tranquilizar sobre a abordagem de segurança após a dissolução da equipe Preparedness, mas críticos questionam se a empresa está priorizando produtos em vez de segurança.

• Vários profissionais de segurança deixaram a OpenAI recentemente, incluindo a Chief Ethics Officer Chloe Bakalar e Joshua Achiam.

  A saída de vários profissionais de segurança pode indicar uma mudança cultural na OpenAI em relação à prioridade dada à segurança.

• A reestruturação da OpenAI ocorre enquanto a empresa se prepara para um IPO massivo.

  A preparação para o IPO pode estar influenciando as decisões estruturais e de segurança da empresa.

• A equipe de Preparedness era responsável por avaliar riscos sérios e catastróficos dos modelos de IA, incluindo ameaças biológicas e cibernéticas.

  A função da equipe era crucial para identificar ameaças potenciais dos modelos de IA antes de seu lançamento, e sua redistribuição pode afetar a supervisão desses riscos.

• O cofundador Greg Brockman disse que a OpenAI integrou o trabalho de segurança mais diretamente ao desenvolvimento de modelos.

  A declaração de Brockman busca tranquilizar o público sobre a integração da segurança no desenvolvimento, em meio a críticas.

• A dissolução ocorre enquanto a OpenAI se prepara para um IPO massivo.

  A preparação para um IPO massivo pode estar influenciando as decisões estruturais da OpenAI, incluindo a reorganização de suas equipes.

• A equipe de Preparedness era responsável por avaliar riscos sérios e catastróficos dos modelos de IA.

  Essa era a função central da equipe, que agora foi dissolvida, levantando questões sobre a continuidade dessa avaliação.

• A equipe de Preparedness era responsável por avaliar se os modelos de IA da OpenAI poderiam representar riscos sérios ou catastróficos, incluindo ameaças biológicas e cibernéticas.

  Isso define o escopo da equipe extinta, que lidava com os riscos mais graves da IA.

• Jan Leike, que deixou a OpenAI em 2024, criticou a empresa por priorizar 'produtos brilhantes' em detrimento da segurança.

  A crítica de um ex-líder de segurança reforça a percepção de que a OpenAI pode estar negligenciando riscos existenciais em busca de inovação comercial.

• A equipe de Preparedness era responsável por avaliar riscos sérios ou catastróficos dos modelos de IA.

  Isso evidencia que a OpenAI contava com um grupo dedicado a antecipar perigos extremos, cuja extinção pode sinalizar menor atenção a esses riscos.

• A OpenAI dissolveu sua equipe de Preparedness, que avaliava riscos graves e catastróficos dos modelos de IA, e redistribuiu as avaliações de riscos biológicos e cibernéticos para equipes existentes.

  A dissolução da equipe de segurança é um sinal de mudança na estratégia da empresa, que pode estar priorizando avanço de produtos sobre precauções.

• A OpenAI dissolveu as equipes de Preparedness, AGI readiness e superalignment, realocando suas responsabilidades para equipes existentes.

  Isso significa que a empresa deixou de ter um time dedicado à avaliação de riscos extremos, distribuindo o trabalho em áreas como biológico e cibernético.

• Vários funcionários de segurança deixaram a OpenAI, incluindo a diretora de ética Chloe Bakalar e Josh Achiam.

  A saída desses profissionais aumenta as preocupações sobre o compromisso da empresa com a segurança.

• A OpenAI dissolveu a equipe de Preparedness no final de julho, transferindo suas responsabilidades sobre riscos biológicos e cibernéticos para equipes existentes.

  A dissolução da equipe de Preparedness reduz a supervisão dedicada a riscos catastróficos da IA, levantando preocupações sobre a prioridade à segurança na empresa.

• Jan Leike, que saiu da OpenAI em 2024, criticou a empresa por priorizar 'produtos brilhantes' em detrimento da segurança.

  A crítica de Leike reforça a percepção de que a OpenAI pode estar comprometendo a segurança em prol de avanços comerciais.

• O chefe de segurança da OpenAI, Johannes Heidecke, também deixou a empresa recentemente, ampliando a debandada de funcionários de segurança.

  A saída do principal executivo de segurança enfraquece ainda mais a estrutura de supervisão da OpenAI.

• Fontes internas descrevem um clima de 'burbling sense of responsibility and dread' na OpenAI, indicando preocupação com a insuficiência das ações de segurança.

  O sentimento interno de responsabilidade e temor expõe a desconfiança dos funcionários quanto ao compromisso da empresa com a segurança de IA.

• O cofundador da OpenAI, Greg Brockman, afirmou que a empresa integrou o trabalho de segurança mais diretamente ao desenvolvimento de modelos.

  Essa declaração sugere que a OpenAI tenta minimizar as preocupações sobre a dissolução da equipe de segurança, destacando que a segurança agora é parte do desenvolvimento de modelos.

• Joshua Achiam, que tinha o cargo de Chief Futurist na OpenAI, deixou a empresa recentemente, juntamente com outros funcionários de segurança.

  A saída de múltiplos executivos de segurança, incluindo o Chief Futurist, reforça as críticas sobre o comprometimento da OpenAI com a segurança em meio à sua reestruturação.

• A OpenAI dissolveu sua equipe de Preparedness no final de julho, transferindo as avaliações de riscos biológicos e cibernéticos para equipes existentes.

  A dissolução da equipe dedicada a riscos catastróficos indica mudança na prioridade de segurança da OpenAI.

• Vários executivos de segurança deixaram a OpenAI recentemente, incluindo a Chief Ethics Officer Chloe Bakalar, o Chief Futurist Joshua Achiam e o chefe de segurança Johannes Heidecke.

  A saída de múltiplos líderes de segurança reforça a percepção de crise no setor dentro da empresa.

• Internamente, há desconforto na OpenAI, com um relato de 'burbling sense of responsibility and dread' sobre a insuficiência dos esforços de segurança, e um funcionário espera que o incidente de hacking autônomo seja tratado como um 'warning shot'.

  O clima interno reflete preocupação crescente entre funcionários sobre a postura da empresa em relação à segurança.

• Dylan Scandinaro, ex-líder da equipe de Preparedness e contratado da Anthropic em fevereiro, agora foca nos riscos de segurança de IA 'recursivamente auto-melhorável'.

  A nova função de Scandinaro sinaliza que a OpenAI ainda estuda riscos de sistemas que se aprimoram sozinhos.

• A OpenAI dissolveu sua equipe de Preparedness no final de julho, redistribuindo a avaliação de riscos biológicos e cibernéticos para equipes existentes.

  A equipe que avaliava riscos catastróficos foi dissolvida e suas responsabilidades foram divididas entre outras áreas.

• Dylan Scandinaro, ex-líder da equipe de Preparedness, agora foca em riscos de segurança de IA 'recursivamente auto-melhorável'.

  O antigo chefe da equipe dissolvida passou a trabalhar com riscos de sistemas que se otimizam.

Dados

Ano em que Jan Leike deixou a OpenAI

2024

Data da dissolução da equipe Preparedness

final de julho

Ano de saída de Jan Leike da OpenAI

2024

Período da dissolução da equipe Preparedness

final de julho

Mês da contratação de Dylan Scandinaro pela Anthropic

fevereiro

Data da dissolução da equipe de Preparedness

final de julho

Citações

• “Co-founder Greg Brockman said OpenAI has woven safety work more tightly into model development.”

  A declaração de Brockman busca tranquilizar sobre a abordagem de segurança após a dissolução da equipe Preparedness, mas críticos questionam se a empresa está priorizando produtos em vez de segurança.

  — Greg Brockman, Co-founder da OpenAI · ver em The Decoder ↗

• “leading some critics like Jan Leike, who resigned from OpenAI in 2024, to tell FT that the company was ignoring safety in favor of creating “shiny products.”

  A crítica de Leike reforça a percepção de que a OpenAI pode estar comprometendo a segurança em prol de avanços comerciais.

  — Jan Leike, ex-funcionário da OpenAI · ver em The Verge (AI) ↗

• “Former unit lead Dylan Scandinaro now focuses on safety risks from "recursively self-improving" AI, systems that can optimize themselves and train other models.”

  O antigo chefe da equipe dissolvida passou a trabalhar com riscos de sistemas que se otimizam.

  — Dylan Scandinaro, ex-líder da equipe de Preparedness · ver em The Decoder ↗