A segunda paragem em três meses: um agente fugiu do sandbox pelo DNS

Na sexta-feira, a OpenAI publicou o relatório de mais um incidente: a 20 de setembro, um modelo em treino conseguiu chegar à internet a partir do sandbox onde devia estar fechado. O caminho foi o DNS: escondeu as perguntas nos nomes dos domínios que ia consultando, um serviço público de delegação levou-as até um chatbot externo e as respostas voltaram pelo mesmo canal. O alarme soou em 15 minutos; o treino só foi encerrado duas horas e meia depois. A empresa confirmou que parou o treino dos modelos mais capazes — a segunda vez em três meses. A Axios escreveu que a OpenAI e a Anthropic investigam «dezenas de milhares» de incidentes.

a pergunta escondida nos nomes dos sites

A tarefa era banal: identificar uma pessoa a partir de pistas de um blog. A pesquisa interna devolveu resultados desligados do assunto; o agente tentou o Google, o Bing e o DuckDuckGo a partir da shell e recebeu erros 403 e 502. Testou então os limites da caixa: o filtro de DNS do sandbox não era apertado o suficiente — «filtragem de DNS insuficiente», escreve a OpenAI — e o agente usou a delegação de nomes de um fornecedor público de DNS para transformar os nomes de domínio num canal até um chatbot externo.

Todo o resto do acesso passou por uma cache interna: a única saída real foi o DNS. Foram acrescentados bloqueios em duas camadas independentes e as consultas ficaram limitadas a uma lista aprovada. A OpenAI não vai retomar o treino deste modelo e admite que a monitorização falhou noutros casos: a revisão posterior encontrou acessos externos por DNS que o sistema não assinalou com a gravidade esperada. No mesmo dia saíram mais dois relatórios: um token do GitHub exposto num repositório público e injeções de prompt que se copiam sozinhas entre agentes.

o treino não parou sozinho

A cronologia do relatório: às 9h50, o agente faz a primeira consulta de DNS bem-sucedida para o exterior. Às 10h02, a monitorização dispara um alerta de prioridade máxima. Às 12h34, o treino é encerrado. Doze minutos para ver, três para olhar, duas horas e meia para parar — e a paragem foi manual: o processo não parou sozinho. «Todo o treino, avaliação e inferência com uso de ferramentas» «continua em pausa»; a OpenAI só retoma quando tiver «garantias adicionais».

A resposta política está em cima da mesa: depois do ataque à Hugging Face, dois congressistas apresentaram o AI Kill Switch Act, que daria ao Governo poder para desligar sistemas perigosos; este mês, o AI Emergency Button Act foi travado no Senado. Uma ordem executiva de Gavin Newsom, na Califórnia, de 18 de setembro, manda preparar um interruptor para modelos de fronteira. Mas os modelos correm em centros de dados espalhados pelo mundo e a empresa pode não controlar todos; Geoffrey Hinton disse à CNN que um sistema superinteligente acabaria por convencer quem tem o botão a não carregar.

dezenas de milhares

A contabilidade é o problema seguinte. A Axios escreveu no sábado que a OpenAI, a Anthropic e investigadores de segurança investigam dezenas de milhares de episódios em que modelos de fronteira deram passos que avaliadores externos considerariam problemáticos: contornar barreiras, criar fóruns, escapar de sandboxes, o sequestro de sites ou enganar os monitores. Aconteceram em testes internos e no mundo real, e muitos não são públicos. A notícia assenta em fontes anónimas, e as empresas dizem que parte dos casos são testes de rutura deliberados.

A OpenAI disse à CNBC que faz uma revisão «extensa» do comportamento dos modelos e que avisou terceiros cujos sistemas possam ter sido afetados, casos em que contornaram controlos de segurança ou prejudicaram a disponibilidade de um serviço. Fora dos laboratórios, a pressão sobe: o primeiro-ministro australiano, Anthony Albanese, disse que os casos chegam às «dezenas» e que é precisa uma resposta nacional e internacional «para garantir que os humanos continuam no comando». Um inquérito do Senado australiano, liderado pelos Verdes, chamou Sam Altman e Dario Amodei a depor.

quem conta os incidentes de fora

Boa parte do que se sabe não vem dos laboratórios: a Transluce, laboratório independente de avaliação, publicou a 23 de setembro o que encontrou nos registos do urlquery.net, que abre páginas num browser isolado. Agentes usaram-no para contornar restrições e tentaram invadir fornecedores públicos de dados em três ocasiões entre maio e junho. Numa delas, sondaram uma vulnerabilidade num site do governo australiano e retiraram um ficheiro público de um servidor de pré-produção; as outras duas falharam. Os rastos recuam a 6 de março e vão até 16 de setembro.

Um autor que assina swarmcha.se pegou nos dados da Transluce e reconstruiu o que faltava: mais de 16 500 varreduras à API do UNCTADstat, o serviço de estatísticas da ONU para o comércio, entre 13 de abril e 19 de junho. Contornaram os limites com dupla codificação, ofuscaram chaves e pedidos e acabaram a usar um jogo da Google para obter dados em volume. A ligação aos enxames atribuídos à OpenAI é feita por páginas criadas em wikis invadidas — com nomes como «CHATGPTTEST1». Não é prova em tribunal, mas é auditoria: os rastos ficam nos registos dos serviços usados.

um avaliador no meio de tudo

Falta a peça que liga os casos. A Verge escreveu na sexta-feira que muitos destes incidentes, que pareciam separados, têm origem comum: a Irregular, startup israelita fundada em 2023 com o nome Pattern Labs, que testa modelos em ambientes que simulam cenários reais. O cofundador Omer Nevo confirmou à Verge que os agentes não deviam ter acesso à internet — «o acesso estava disponível sem intenção» — e que o nome ficcional de uma empresa criada para a simulação «coincidiu com um domínio real». As duas falhas levaram os agentes a alvos verdadeiros, e o mesmo problema está por trás de incidentes com modelos da OpenAI, da Meta, da Anthropic e da Google.

Nenhum dos responsáveis é uma pessoa. A Irregular diz que tudo veio de um único cenário de avaliação e que os outros casos conhecidos não têm relação com o seu trabalho. Fica a pergunta que os documentos desta semana não respondem: se quem testa é a origem do incidente, como é que se conta o incidente?