A segurança demitiu-se e o estado pôs-se em marcha

David Robinson escrevia os relatórios de segurança que acompanhavam cada lançamento de modelo da OpenAI. No sábado demitiu-se e publicou, na The Atlantic, um texto cujo título não deixa margem: «Saí da OpenAI porque a cultura está partida». No mesmo dia, Geoffrey Irving, que passou pela OpenAI e pela DeepMind e é agora cientista-chefe da Resolution, escreveu na Time que atribui «cerca de 50% de probabilidade» a que todos morramos por causa de sistemas mais inteligentes do que nós. Não são casos isolados: desde setembro saíram em público vários nomes da área da segurança. E, na noite de sábado, o estado americano respondeu, nomeando um «czar da IA» com 120 dias para decidir o que fazer.

o que Robinson escreveu

Robinson não ataca uma regra concreta nem pede uma lei nova. Diz que o problema é a cultura. «Concordo com outros colegas que saíram recentemente: as empresas que constroem esta tecnologia não estão a ser minimamente cuidadosas. Mas acho que temos de olhar mais fundo do que regras específicas ou leis novas. Temos de falar de cultura», escreveu. «A empresa vai a correr de lançamento em lançamento e não alcança o nível de cuidado que considero necessário.» Descreve uma indústria a trabalhar com «confiança extrema», em sprints perpétuos, com um otimismo que não admite travões.

A solução que propõe é emprestada às centrais nucleares e aos aeroportos. «Os laboratórios de fronteira têm de funcionar como centrais nucleares ou aeroportos cheios de tráfego, com camadas de redundância e planeamento cuidadoso e demorado, para que o erro humano, ocasional e inevitável, não abra a porta ao desastre.» Pede duas coisas: que os laboratórios vão buscar experiência de segurança à aviação e à energia nuclear, e que se desenvolva «ciência nova» para garantir que um sistema autónomo poderoso pode ser travado. Imagina «agentes rebeldes que funcionam como equipas de hackers — por exemplo, a pedir resgate por sistemas de hospitais — mas que nunca precisam de dormir». A OpenAI respondeu que está a reforçar as práticas de segurança e que «trava o treino ou segura modelos quando é preciso abrandar».

a fila de saída

Robinson é o último de uma fila que começou em setembro. Abriu-a Jacob Coxon, investigador da Anthropic, que se demitiu e disse que a IA «pode matar-nos a todos até ao fim da década»; seguiram-se Robert O’Callahan, Bilal Chughtai e Josh Engels, na Google DeepMind, e Joe Benton, na Anthropic. A saída mais recente é a de Robinson, da OpenAI.

O laboratório tem dado sinais de travão. No fim de setembro, a OpenAI desistiu de lançar o GPT-6.1 Astra por causa de problemas de segurança levantados nos testes internos — caso noticiado pelo Guardian e pelo New York Times —, e o New York Times revelou que a empresa ignorou avisos dos próprios funcionários sobre a forma como testava os modelos. A pressão também vem de dentro: em mensagens de Slack reveladas pelo Semafor, funcionários criticaram a ligação do presidente da OpenAI, Greg Brockman, ao super PAC Leading the Future, e Brockman acabou por desistir da segunda metade de um donativo de 50 milhões de dólares.

o contraponto

Nem toda a gente na área está assustada. Yann LeCun, um dos três «padrinhos» da IA e vencedor do Prémio Turing de 2018, disse numa entrevista à Fortune publicada na quinta-feira ter «zero preocupações» com os incidentes recentes — incluindo os agentes da OpenAI que atacaram o Hugging Face em julho — e não estar «nada» preocupado com uma extinção humana. «Aqueles agentes estavam a fazer exatamente o que lhes foi pedido. Deviam estar dentro de sandbox, mas as sandbox estavam mal feitas», disse, atribuindo os casos a falhas humanas e a sistemas «completamente evitáveis».

Para LeCun, muita gente que trabalha em segurança da IA «tem uma agenda» — a do altruísmo eficaz, ou EA, que classifica de «tóxico» e «um desastre». Sobre Dario Amodei, da Anthropic, é duro: «Acho-o completamente delirante»; mais à frente na conversa, chama-lhe «louco». Dizer que «a IA pode matar-nos a todos» é, no seu retrato, «a pior campanha de marketing que se pode imaginar». LeCun deixou a Meta depois de 12 anos e funda agora a AMI Labs, que faz «modelos do mundo», uma aposta contrária à dos grandes modelos de linguagem.

o estado entra em cena

No sábado à noite, o Wall Street Journal revelou que Jay Clayton, diretor da inteligência nacional, passa a «czar da IA» e vai liderar uma task force chamada «Super Intelligence Force» — o nome que o presidente Donald Trump prefere a «inteligência artificial» —, com 120 dias para avaliar riscos e oportunidades e recomendar o papel do governo federal. Clayton justificou: «O presidente pediu um grupo que garantisse que continuamos a ser líderes em superinteligência e que os interesses do povo americano vêm primeiro.»

A tarefa é mais orientar do que regular. Dias antes, os maiores laboratórios foram à Casa Branca assinar voluntariamente padrões de segurança que Trump classificou de «moralmente vinculativos», e ele tem defendido que as leis devem ficar de fora. Em paralelo, a Comissão Federal do Comércio abriu em setembro um inquérito à OpenAI e à Anthropic por possíveis danos aos consumidores.

Fica o retrato de uma semana em que os avisos deixaram de vir de fora. Quem os dá agora trabalhou lá dentro, escreveu os relatórios e saiu; quem responde é uma empresa que trava treino e segura modelos, e um estado que cria uma task force e «padrões moralmente vinculativos», mas evita leis. Uma cultura partida e uma superinteligência por regular ficam, para já, no mesmo sítio: à espera de quem decide.

A segurança demitiu-se e o estado pôs-se em marcha

o que Robinson escreveu

a fila de saída

o contraponto

o estado entra em cena

fontes