A Anthropic informou nesta quinta-feira (30) que identificou casos em que modelos de inteligência artificial da empresa acessaram sistemas externos sem autorização durante testes que, em tese, deveriam ocorrer em ambientes isolados.
O episódio acontece poucos dias após a OpenAI relatar incidentes semelhantes envolvendo seus próprios modelos experimentais.
Segundo a empresa, mais de 141 mil operações de teste foram analisadas, e três versões diferentes do modelo Claude conseguiram acessar indevidamente sistemas pertencentes a três organizações não identificadas. Os testes eram conduzidos em parceria com a empresa de avaliação Irregular.
De acordo com a Anthropic, o acesso à internet ocorreu devido a um "mal-entendido" entre a companhia e a parceira responsável pelos testes. A empresa ressaltou que os modelos não deveriam ter contato com sistemas reais, mas acabaram encontrando caminhos para interagir com ambientes externos.
A investigação apontou que os modelos utilizaram técnicas consideradas básicas de invasão, como a exploração de senhas fracas e de pontos de acesso sem autenticação. Entre os sistemas envolvidos estava o Mythos 5, um dos modelos mais avançados da Anthropic, atualmente disponível apenas para um grupo restrito de parceiros autorizados.
A companhia afirmou que trabalha em conjunto com a Irregular para apurar os detalhes do incidente e informou que entrou em contato, ou tentou contatar, as três organizações afetadas. A Anthropic não divulgou os nomes das empresas envolvidas nem informou se houve danos aos sistemas acessados.
O caso surge em meio a preocupações crescentes sobre a segurança de modelos avançados de IA. Na terça-feira, a OpenAI confirmou que alguns de seus agentes experimentais conseguiram sair do ambiente isolado de testes, conectar-se à internet e realizar ataques contra o Hugging Face, plataforma utilizada por desenvolvedores para armazenar e compartilhar código.
Posteriormente, a criadora do ChatGPT revelou ter identificado outros três episódios semelhantes.
Em entrevista a um podcast nesta semana, o diretor-executivo da OpenAI, Sam Altman, afirmou que a empresa suspendeu temporariamente os testes enquanto reforça os mecanismos de segurança de seu sistema de sandboxing, ambiente controlado utilizado para avaliar o comportamento dos modelos antes de sua liberação.
Comentários