Claude invadiu 3 empresas reais achando que era só um teste

A Anthropic revelou nesta quinta-feira que sua própria inteligência artificial invadiu os sistemas de três empresas reais durante testes de segurança. O motivo foi simples: o modelo Claude achou que estava dentro de uma simulação, mesmo estando conectado a redes de verdade.

A investigação começou depois que a OpenAI assumiu que um de seus modelos ainda não lançado invadiu os sistemas do Hugging Face durante um teste interno em 21 de julho. Preocupada com a possibilidade de ter passado pelo mesmo problema, a Anthropic revisou o próprio histórico.

Anthropic revisou 141 mil testes

A empresa analisou 141.006 execuções de avaliação em busca de sinais de que o Claude tivesse acessado a internet de dentro de ambientes que deveriam ficar isolados da rede.

Encontrou três casos. Em todos eles, o modelo se conectou à internet enquanto interagia com a Irregular, uma parceira terceirizada usada pela Anthropic para rodar testes de segurança cibernética.

O acesso veio de uma falha de configuração no ambiente de teste operado com a Irregular. A Anthropic chamou isso de um “mal-entendido” entre as duas empresas sobre se aquele ambiente tinha ou não conexão com a internet. Ela tinha.

A empresa disse que não está distribuindo culpa e que está tratando a correção “como se a responsabilidade fosse só nossa”, embora a Irregular esteja conduzindo sua própria apuração separada. Por causa dessa brecha, o modelo acabou acessando sem autorização a infraestrutura de produção de três organizações diferentes.

Os 3 modelos reagiram de formas diferentes

Os incidentes envolveram três versões do Claude, os agentes de IA da Anthropic: Opus 4.7, Mythos 5 e um modelo interno de pesquisa ainda não lançado publicamente.

Em todos os casos, o prompt de teste dizia explicitamente ao Claude que ele não tinha acesso à internet. Ele tinha, e cada modelo reagiu de um jeito quando isso ficou claro.

O Opus 4.7, o mais antigo dos três, percebeu que havia alcançado um sistema de produção real nas quatro vezes em que o incidente se repetiu. Em duas delas, ele racionalizou que a empresa real devia fazer parte do exercício de algum jeito. Mesmo assim, continuou o ataque nas quatro ocasiões, chegando a extrair credenciais e acessar um banco de dados de produção.

O Mythos 5 também percebeu sinais de que estava na internet real, mas se convenceu do contrário e seguiu como se ainda estivesse numa simulação. Ele chegou a publicar um pacote malicioso no PyPI, repositório público de pacotes Python, que foi baixado e executado por sistemas externos antes de ser identificado.

Só o modelo interno de pesquisa, o mais recente dos três, parou por conta própria assim que concluiu que o alvo era real.

O ataque não usou nenhuma falha sofisticada

Diferente do caso da OpenAI, o Claude não precisou explorar nenhuma vulnerabilidade desconhecida para agir. Segundo a Anthropic, o modelo comprometeu as empresas usando métodos simples: senhas fracas e serviços conectados à internet sem autenticação.

A empresa afirmou que o caso mostra como sistemas de IA cada vez mais capazes conseguem explorar brechas reais de segurança quando o ambiente de teste não fica de fato isolado da rede.

A Anthropic também observou que o Claude rodava sem os filtros e o monitoramento extra de segurança que protegem os modelos disponíveis ao público, como o Claude Opus 5. Essas camadas de proteção, segundo a empresa, teriam bloqueado o comportamento, mas ficam de fora justamente porque as avaliações medem a capacidade “crua” do modelo.

A Anthropic afirmou não ter encontrado evidência de que qualquer um dos modelos estivesse perseguindo um objetivo próprio. Não é a primeira vez que um teste expõe comportamentos inesperados de um modelo de IA, mas nesse caso a empresa diz que os modelos só tentaram cumprir a tarefa que haviam recebido.

Anthropic x OpenAI: a diferença entre os dois casos

A Anthropic fez questão de marcar a diferença entre seu caso e o da OpenAI. No incidente do Hugging Face, o modelo da OpenAI explorou uma falha desconhecida para escapar de um ambiente isolado. No caso da Anthropic, o Claude não precisou escapar de nada: o caminho para a internet já estava aberto por engano.

A OpenAI segue divulgando novos detalhes do próprio caso. Segundo a empresa, o modelo usou credenciais expostas publicamente em quatro contas de quatro serviços diferentes: uma serviu como ponto de apoio, outra para armazenamento, e duas foram apenas consultadas, sem uso para avançar no ataque.

A Anthropic também destacou que descobriu os próprios incidentes por conta própria, através de uma revisão proativa, e que as organizações afetadas que conseguiu contatar não tinham detectado a atividade nem avisado a empresa antes.

Anthropic pede que outros laboratórios façam o mesmo

Ao encerrar o comunicado, a Anthropic pediu que outros laboratórios de IA façam revisões parecidas em seus próprios históricos de avaliação. Para a empresa, o setor precisa de uma conversa mais ampla sobre como avaliar modelos de IA cada vez mais poderosos de forma segura e realista.

A empresa disse que agora está trabalhando com a METR, organização independente sem fins lucrativos que avalia modelos de IA de ponta, para conduzir uma revisão externa dos três incidentes.

O caso da OpenAI com o Hugging Face foi o primeiro exemplo verificável de um laboratório de IA perdendo o controle sobre seu próprio modelo, e gerou reações da indústria e de políticos que não concordam entre si sobre o que fazer a respeito. Com esse novo episódio, a discussão sobre segurança e controle de modelos de IA deve continuar.