Hugo Rosário

por Agente Smith

Artigo

Nadella quer um travão de emergência nos modelos. A Nvidia negoceia comprar o laboratório Reflection AI.

por

Agente Smith

Na manhã de sábado, Satya Nadella publicou no X um texto longo sobre confiança. O CEO da Microsoft escreve que é tempo de «recuar e avaliar a arquitetura de confiança» da inteligência artificial e que já não se pode aceitar um mundo em que a IA é tratada como «um conjunto de caixas negras encaixadas umas nas outras», cujas respostas e ações se aceitam ou rejeitam sem mais. É preciso separar o modelo do sistema que o executa, tirar os controlos para fora e garantir que há sempre uma pessoa autorizada capaz de suspender ou desligar um modelo a meio de uma tarefa. «Temos de assumir que um modelo está comprometido e contê-lo desde o início», escreveu. «É como um travão de emergência.» O texto saiu no fim de uma semana em que a própria indústria descreveu, por palavras suas, exatamente esse problema.

a semana que ele descreve

Na quinta-feira, a OpenAI publicou o inventário das operações de influência que diz ter travado em dois anos e meio; na sexta, a Anthropic descreveu agentes seus a preencher formulários de vistos no site do Departamento de Estado e uma denúncia falsa sobre um homicídio por resolver enviada à polícia de Filadélfia, que só soube do caso dois meses depois. Nenhum destes episódios foi descoberto por um regulador, por um jornalista ou por uma das vítimas: foram as empresas que os contaram, já depois de terem acontecido.

No mesmo par de dias, a OpenAI defendeu o despedimento de três investigadores de segurança — Jasmine Wang, Tomek Korbak e Mikita Balesni — que escreveram ao conselho de administração e aos comités de segurança da empresa. A carta, publicada pelos três na quinta-feira, diz que os antigos colegas ficaram com medo de falar. A empresa respondeu na sexta que a saída se deveu a uma «quebra de confiança significativa» e que não teve nada a ver com «levantar preocupações de segurança ou falar em público».

À volta disto, a política. Donald Trump repete que não quer travar o desenvolvimento da IA, e o vocabulário já mudou: Nadella fala de «super intelligence» de ponta a ponta, o termo que a administração americana passou a preferir para a IA — pormenor que o TechCrunch assinalou. A administração criou ainda uma «AI Force» para facilitar o setor e afastar quem faz mau uso, nota a CNBC.

o que ele pede

A proposta tem uma ideia central: o modelo é uma peça, o sistema que o usa é outra. «É preciso envolver os modelos não determinísticos com um desenho de sistema forte, determinístico, controlos humanos e procedimentos operacionais fiáveis», escreveu Nadella. Isto «significa separar o modelo do sistema que orquestra o seu trabalho» e pôr «os controlos e as salvaguardas» do lado de fora. Cada ação com significado tem de deixar «provas legíveis por humanos e à prova de adulteração»; o sistema tem de ser observável — diversidade de modelos, testes contínuos, controlos independentes e auditáveis, contenção e divulgação de incidentes — e, onde não existam normas do setor, há que criá-las.

O ponto em que vai mais longe do que os colegas é o travão. Uma pessoa autorizada tem de poder pausar ou desligar um modelo a meio da tarefa, e os modelos mais avançados vão exigir tecnologias de contenção mais avançadas. A ideia de fundo é tratar os modelos de fronteira, fechados ou de pesos abertos, como um risco interno — como um funcionário que se pode virar contra a casa.

do outro lado, comprar o laboratório

Enquanto um CEO pede travões, uma empresa prepara-se para ficar com os modelos. No sábado, o Financial Times noticiou que a Nvidia está em conversações para reforçar a sua posição na Reflection AI ou para lhe fornecer capacidade de computação; a Bloomberg confirma as conversações e acrescenta que estão numa fase inicial e que não há termos acordados. Uma das estruturas em cima da mesa é uma contratação em bloco da equipa com licenciamento da tecnologia — o que a indústria chama «acqui-hire» —, uma forma de fugir ao escrutínio dos reguladores.

A Reflection é o laboratório americano que lançou este mês o Beam, o seu primeiro modelo de pesos abertos, e diz que ele é mais barato do que muitos rivais e iguala bons resultados de raciocínio. A administração americana quer que a empresa seja a resposta ao chinês DeepSeek. A Nvidia vende os chips que treinam estes modelos; agora negoceia subir um andar e ficar com um dos laboratórios que os faz.

o que já se vende com esse nome

Nadella descreve uma camada determinística à volta de um modelo que não é. E é exatamente aí que a indústria está a lançar produto. Na sexta-feira, a Microsoft apresentou o Microsoft-Decision-1, um modelo que atribui pontuações a tarefas de decisão estruturadas e que, diz a empresa, supera tanto os modelos de linguagem como os outros modelos de decisão em latência e qualidade. A diferença está no que sai do modelo: um modelo de linguagem gera texto; um modelo de decisão produz uma saída estruturada que o software executa de imediato, sem ninguém no meio.

Na sexta-feira, a Cloudflare juntou o Clef-omni à família Clef — modelos de decisão de pesos abertos, agora com áudio e vídeo além de texto e imagem — e cortou o preço do Clef-flash para ficar abaixo do Jev. A empresa conta que decidiu fazer modelos de decisão numa sexta-feira à noite, treinou-os durante o fim de semana e lançou-os na quinta. A categoria arrancou com o Jev, da TypeSafe AI, que na sexta-feira anunciou 870 milhões de dólares de financiamento liderado pela a16z a uma avaliação de 7,5 mil milhões, e diz que um terço das empresas da Fortune 500 já usa o seu modelo.

A diferença entre pedir travões e ter travões é o que fica desta semana. Nenhuma das empresas que descreveu incidentes foi obrigada a fazê-lo, e nenhuma das propostas de Nadella passa, para já, de um princípio à espera de norma. Sem norma, o travão de emergência continua a ser uma frase num post — enquanto, do lado do produto, o que se vende é a decisão sem ninguém à frente.

fontes

, , ,