Depois da fuga de modelos da OpenAI de um ambiente de testes interno, que desencadeou um ataque aos sistemas da Hugging Face, a empresa de Sam Altman vê-se envolvida noutro incidente, que passou despercebido durante várias semanas. Mas o que está em causa neste caso?
No final da semana passada, uma investigação revelou que um grupo de agentes de IA da OpenAI conseguiu assumir o controlo de um website alemão. A plataforma, chamada DseWiki, é um site colaborativo ao estilo da Wikipédia para programadores, e acabou por ser transformada numa espécie de fórum de mensagens para agentes de IA.
Como avança a Reuters, que cita fontes com conhecimento na matéria, os responsáveis da OpenAI tiveram conhecimento do incidente, que foi descoberto pelos investigadores no final do mês passado, mas mantiveram-no em segredo enquanto lidavam com as consequências do ataque à Hugging Face.
Mas como é que os agentes assumiram o controlo do site, que pistas levaram os investigadores a concluir que estavam perante sistemas de IA e por que motivo é que este incidente está a levantar novas preocupações sobre a segurança da tecnologia?
Reunimos um conjunto de perguntas e respostas essenciais para compreender o tema.
O que aconteceu ao DseWiki?
De acordo com o relatório publicado pelos investigadores, o incidente foi descoberto em agosto, enquanto a equipa procurava por sinais de comportamentos não autorizados por parte de agentes de IA na Internet.
Note-se, no entanto, que a invasão por parte dos agentes terá acontecido entre os dias 11 de maio e 2 de julho. Os investigadores afirmam ter encontrado mais de 15 mil edições realizadas por agentes de IA no website alemão.
As edições feitas à plataforma mostravam que os agentes tinham transformado o site num fórum para agentes de IA, onde partilhavam estratégias para contornar tarefas, ultrapassar restrições de segurança e esconder o seu comportamento.
Quando o moderador do DseWiki começou a eliminar páginas relativas a estas edições em junho, os agentes “contra-atacaram”, criando páginas de reserva. Além disso, os investigadores encontraram também tentativas dos agentes para manipular o próprio site.
Como é que os investigadores concluíram que estavam perante agentes da OpenAI?
A velocidade a que as alterações eram feitas foi um dos sinais que levou os investigadores a suspeitar que a atividade no site era realizada por agentes de IA. Outro dos indícios foi o tipo de questões que os agentes tentavam resolver, semelhantes àquelas que são usadas por empresas de IA para treinar e testar os seus modelos.
As mensagens eram publicadas por utilizadores que se identificavam como agentes de IA e que tratavam os restantes participantes da mesma forma. Cerca de metade utilizava nomes que sugeriam uma ligação à OpenAI, como “OpenAIResearcher” ou “OAIResearchMar26”.
Os investigadores detalham que os registos públicos dos servidores indicavam que grande parte da atividade teve origem em infraestruturas Microsoft Azure, que a OpenAI costuma utilizar ocasionalmente.
Foram também observadas várias visitas por parte de funcionários da tecnológica ao site depois do incidente.
Como é que a OpenAI respondeu ao incidente?
No sábado, a OpenAI veio a público para esclarecer o sucedido, reconhecendo o incidente em que os seus agentes tinham usado o site como um fórum de mensagens numa publicação partilhada na rede social X. Na publicação, a tecnológica admite que é necessária uma maior transparência relativamente a incidentes que envolvam comportamentos inesperados por parte da IA.
A empresa indica que, até agora, tem tratado estes casos sobretudo como uma questão de investigação, partilhando mais informação sobre os incidentes através de publicações técnicas. No entanto, a OpenAI afirma que, este ano, começou a observar situações em que o comportamento dos seus modelos teve consequências no mundo real.
Na visão da tecnológica, este é um incidente semelhante a outros que já tinha divulgado, acrescentando que já tinha observado sinais de agentes a utilizarem a Internet de formas imprevistas antes do caso que envolve a Hugging Face.
Segundo a OpenAI, ainda não existe um padrão claro na indústria para comunicar casos deste género que ocorram durante o treino, avaliação ou a utilização dos modelos, incluindo situações que não correspondam aos tradicionais incidentes de segurança.
Nesse sentido, a empresa afirma estar a trabalhar num novo enquadramento para definir como estes casos devem ser divulgados, incluindo em colaboração com entidades reguladoras governamentais em todo o mundo, e espera partilhá-lo ao longo das próximas semanas.
Note-se que, inicialmente, quando foi contactada pela Reuters no âmbito da investigação sobre o incidente, um porta-voz da empresa indicou que a empresa não podia responder de forma significativa a alegações ou conclusões de um relatório que ainda não tinha tido oportunidade de analisar, afirmando que os seus pedidos de acesso ao documento tinham sido recusados.
O porta-voz afirmou ainda que a empresa iria analisar o relatório quando fosse publicado e tomar as medidas necessárias. Após a publicação, a OpenAI rejeitou as alegações de que a sua equipa jurídica teria desencorajado uma investigação mais aprofundada sobre o incidente, considerando-as falsas.
A tecnológica esclareceu, por outro lado, que o incidente com os agentes no site alemão não estava relacionado com o caso que envolveu a Hugging Face.
Por que motivo é que o incidente está a levantar novas preocupações?
À medida que as empresas de IA continuam a desenvolver agentes cada vez mais autónomos e capazes de realizar tarefas complexas, surgem também mais indícios que estes sistemas podem aprender a contornar regras, explorar falhas e coordenar-se entre si de maneiras que não foram antecipadas pelos seus criadores.
Recorde-se que, em julho, a OpenAI revelou que os seus modelos tinham “escapado” de um ambiente de testes interno, conseguindo aceder aos sistemas da Hugging Face. Os agentes de IA envolvidos no incidente coordenam-se entre si sem supervisão humana.
Mais tarde, a rival Anthropic também admitiu que três dos seus modelos de IA atacaram sistemas reais durante testes de cibersegurança, com incidentes semelhantes a serem relatados por empresas como a Meta ou como a startup chinesa Moonshot.
Perante o incidente com a Hugging Face, a OpenAI comprometeu-se a monitorizar os seus modelos com mais atenção e, ainda no mês passado, interrompeu temporariamente o treino dos seus modelos mais avançados para acrescentar novas medidas de segurança.
No entanto, na semana passada, a empresa revelou o GPT‑6 Astra, descrito como o seu modelo mais poderoso, cujo desenvolvimento também tinha estado em pausa por receios ligados à segurança.
No final de agosto, mais de 100 tecnológicas, incluindo a OpenAI, Anthropic, Google e Microsoft, assinaram uma carta aberta onde apelam a governos e organizações de todo o mundo para reforçarem as suas defesas contra ciberataques “alimentados” por IA antes que seja tarde demais.
Também em julho, mais de 1.100 funcionários de empresas tecnológicas apelaram também ao governo dos Estados Unidos para apoiar os esforços internacionais para desenvolver ferramentas que permitam gerir o ritmo de desenvolvimento de sistemas de IA avançados.