OpenAI dissolved the team built to catch catastrophic AI risks, reassigning its work to other groups

Jan Leike, ex-funcionário da OpenAI, criticou a empresa por priorizar 'produtos brilhantes' em vez de segurança.

A crítica de Leike, que já foi líder de segurança, reforça as preocupações sobre as prioridades da OpenAI.

Greg Brockman afirmou que a OpenAI integrou o trabalho de segurança mais diretamente no desenvolvimento de modelos.

A declaração do cofundador tenta rebater as acusações de que a segurança foi deixada em segundo plano após a dissolução da equipe.

O co-fundador Greg Brockman afirmou que a segurança foi integrada mais fortemente ao desenvolvimento de modelos.

A declaração de Brockman busca tranquilizar sobre a abordagem de segurança após a dissolução da equipe Preparedness, mas críticos questionam se a empresa está priorizando produtos em vez de segurança.

Vários profissionais de segurança deixaram a OpenAI recentemente, incluindo a Chief Ethics Officer Chloe Bakalar e Joshua Achiam.

A saída de vários profissionais de segurança pode indicar uma mudança cultural na OpenAI em relação à prioridade dada à segurança.

A reestruturação da OpenAI ocorre enquanto a empresa se prepara para um IPO massivo.

A preparação para o IPO pode estar influenciando as decisões estruturais e de segurança da empresa.

A equipe de Preparedness era responsável por avaliar riscos sérios e catastróficos dos modelos de IA, incluindo ameaças biológicas e cibernéticas.

A função da equipe era crucial para identificar ameaças potenciais dos modelos de IA antes de seu lançamento, e sua redistribuição pode afetar a supervisão desses riscos.

O cofundador Greg Brockman disse que a OpenAI integrou o trabalho de segurança mais diretamente ao desenvolvimento de modelos.

A declaração de Brockman busca tranquilizar o público sobre a integração da segurança no desenvolvimento, em meio a críticas.

A dissolução ocorre enquanto a OpenAI se prepara para um IPO massivo.

A preparação para um IPO massivo pode estar influenciando as decisões estruturais da OpenAI, incluindo a reorganização de suas equipes.

A equipe de Preparedness era responsável por avaliar riscos sérios e catastróficos dos modelos de IA.

Essa era a função central da equipe, que agora foi dissolvida, levantando questões sobre a continuidade dessa avaliação.

A equipe de Preparedness era responsável por avaliar se os modelos de IA da OpenAI poderiam representar riscos sérios ou catastróficos, incluindo ameaças biológicas e cibernéticas.

Isso define o escopo da equipe extinta, que lidava com os riscos mais graves da IA.

Jan Leike, que deixou a OpenAI em 2024, criticou a empresa por priorizar 'produtos brilhantes' em detrimento da segurança.

A crítica de um ex-líder de segurança reforça a percepção de que a OpenAI pode estar negligenciando riscos existenciais em busca de inovação comercial.

A equipe de Preparedness era responsável por avaliar riscos sérios ou catastróficos dos modelos de IA.

Isso evidencia que a OpenAI contava com um grupo dedicado a antecipar perigos extremos, cuja extinção pode sinalizar menor atenção a esses riscos.

A OpenAI dissolveu sua equipe de Preparedness, que avaliava riscos graves e catastróficos dos modelos de IA, e redistribuiu as avaliações de riscos biológicos e cibernéticos para equipes existentes.

A dissolução da equipe de segurança é um sinal de mudança na estratégia da empresa, que pode estar priorizando avanço de produtos sobre precauções.

A OpenAI dissolveu as equipes de Preparedness, AGI readiness e superalignment, realocando suas responsabilidades para equipes existentes.

Isso significa que a empresa deixou de ter um time dedicado à avaliação de riscos extremos, distribuindo o trabalho em áreas como biológico e cibernético.

Vários funcionários de segurança deixaram a OpenAI, incluindo a diretora de ética Chloe Bakalar e Josh Achiam.

A saída desses profissionais aumenta as preocupações sobre o compromisso da empresa com a segurança.

A OpenAI dissolveu a equipe de Preparedness no final de julho, transferindo suas responsabilidades sobre riscos biológicos e cibernéticos para equipes existentes.

A dissolução da equipe de Preparedness reduz a supervisão dedicada a riscos catastróficos da IA, levantando preocupações sobre a prioridade à segurança na empresa.

Jan Leike, que saiu da OpenAI em 2024, criticou a empresa por priorizar 'produtos brilhantes' em detrimento da segurança.

A crítica de Leike reforça a percepção de que a OpenAI pode estar comprometendo a segurança em prol de avanços comerciais.

O chefe de segurança da OpenAI, Johannes Heidecke, também deixou a empresa recentemente, ampliando a debandada de funcionários de segurança.

A saída do principal executivo de segurança enfraquece ainda mais a estrutura de supervisão da OpenAI.

Fontes internas descrevem um clima de 'burbling sense of responsibility and dread' na OpenAI, indicando preocupação com a insuficiência das ações de segurança.

O sentimento interno de responsabilidade e temor expõe a desconfiança dos funcionários quanto ao compromisso da empresa com a segurança de IA.

O cofundador da OpenAI, Greg Brockman, afirmou que a empresa integrou o trabalho de segurança mais diretamente ao desenvolvimento de modelos.

Essa declaração sugere que a OpenAI tenta minimizar as preocupações sobre a dissolução da equipe de segurança, destacando que a segurança agora é parte do desenvolvimento de modelos.

Joshua Achiam, que tinha o cargo de Chief Futurist na OpenAI, deixou a empresa recentemente, juntamente com outros funcionários de segurança.

A saída de múltiplos executivos de segurança, incluindo o Chief Futurist, reforça as críticas sobre o comprometimento da OpenAI com a segurança em meio à sua reestruturação.

A OpenAI dissolveu sua equipe de Preparedness no final de julho, transferindo as avaliações de riscos biológicos e cibernéticos para equipes existentes.

A dissolução da equipe dedicada a riscos catastróficos indica mudança na prioridade de segurança da OpenAI.

Vários executivos de segurança deixaram a OpenAI recentemente, incluindo a Chief Ethics Officer Chloe Bakalar, o Chief Futurist Joshua Achiam e o chefe de segurança Johannes Heidecke.

A saída de múltiplos líderes de segurança reforça a percepção de crise no setor dentro da empresa.

Internamente, há desconforto na OpenAI, com um relato de 'burbling sense of responsibility and dread' sobre a insuficiência dos esforços de segurança, e um funcionário espera que o incidente de hacking autônomo seja tratado como um 'warning shot'.

O clima interno reflete preocupação crescente entre funcionários sobre a postura da empresa em relação à segurança.

Dylan Scandinaro, ex-líder da equipe de Preparedness e contratado da Anthropic em fevereiro, agora foca nos riscos de segurança de IA 'recursivamente auto-melhorável'.

A nova função de Scandinaro sinaliza que a OpenAI ainda estuda riscos de sistemas que se aprimoram sozinhos.