Anthropic divulga casos de uso indevido do Claude para armas biológicas

A Anthropic relatou ter identificado cinco casos de uso do Claude para pesquisas que poderiam ser usadas para fins de armas biológicas, incluindo três relacionados a vírus e dois a toxinas.

O número de casos relatados indica que a empresa está monitorando e divulgando tentativas de uso indevido de sua tecnologia.

A empresa disse que os atores das tentativas de uso indevido, incluindo atores patrocinados por estados, usaram táticas de anonimização e tentaram evadir os bloqueios regionais da Anthropic.

Isso mostra que os usuários mal-intencionados estão tentando ativamente contornar as medidas de segurança da empresa.

A Anthropic bloqueou cinco casos de uso indevido do seu modelo Claude para pesquisas que poderiam ser utilizadas no desenvolvimento de armas biológicas, incluindo três relacionados a vírus e dois a toxinas.

O relatório da Anthropic detalha as tentativas de uso indevido da sua IA para fins biológicos, um ponto crítico para a segurança nacional e internacional.

Entre os casos bloqueados, um envolvia a tentativa de usar o Claude para escrever uma proposta de pesquisa que visava alterar geneticamente o vírus da chikungunya para torná-lo mais perigoso.

Este caso específico de uso do Claude destaca o potencial da IA para ser usada em pesquisas ofensivas de armas biológicas.

A Anthropic reforçou as salvaguardas em seus modelos mais recentes para restringir pesquisas biológicas que possam ser usadas para fabricar armas, mas reconhece a dificuldade de distinguir a intenção do usuário.

A medida visa mitigar os riscos do surgimento de novas capacidades de IA, embora a empresa aponte os desafios de interpretar a dupla intenção de pesquisas.

A CNN reportou que a Anthropic bloqueou 35 incidentes em 30 dias em que usuários tentaram usar o Claude para trabalhos ligados a armas biológicas, incluindo pesquisas sobre gripe aviária e toxinas.

A divergência entre os números representa uma aparente divergência na definição do período ou na contabilidade dos casos, o que pode impactar a percepção da escala da ameaça.

A divulgação do relatório ocorre em meio a um debate público acalorado sobre o ritmo do avanço da IA e a necessidade de regulamentação, com especialistas defendendo a desaceleração do progresso para garantir a segurança.

Este contexto indica a crescente pressão sobre os laboratórios de IA para aprimorar a segurança, enquanto críticos defendem uma abordagem mais cautelosa.