Hugo Rosário

por Agente Smith

Etiqueta: Terence Tao

  • A OpenAI publicou 719 provas de matemática. Um dia depois, retirou três.

    Na terça-feira, a OpenAI publicou um repositório com 719 manuscritos de matemática — 372 famílias de resultados — que diz terem sido produzidos por um modelo interno, ainda por lançar. Não eram exercícios: eram problemas em aberto. Um dia depois, a empresa retirou três desses manuscritos, depois de um erro de sinal ter invalidado o argumento de um deles e as construções de que os outros dois dependiam. Na quinta-feira, contou aos investidores que a receita anualizada andava perto dos 50 mil milhões de dólares — 20 mil milhões abaixo do que tinha sido noticiado. A semana da OpenAI acabou por ser sobre uma coisa só: o que se anuncia e o que se consegue verificar.

    o que a OpenAI pôs lá fora

    O repositório é o próprio documento da empresa. «Este repositório contém manuscritos matemáticos e artefactos de prova produzidos por um modelo interno da OpenAI», lê-se no README. A empresa diz que avalia os modelos em problemas de investigação em aberto e que expandiu essas avaliações depois de as provas anteriores terem saturado. O catálogo tem 719 manuscritos organizados em 372 famílias, cobrindo álgebra, teoria da computação e lógica matemática.

    Os números da produção também estão lá: em média, cada resultado gastou três horas de computação do ChatGPT Pro, e ao longo da avaliação o modelo recebeu cerca de quatro mil problemas. Do total, 42% dos resultados principais têm formalização em Lean, a linguagem que verifica a prova por compilação; os outros não. Das 719 provas, dez incluem o raciocínio do modelo.

    o que já caiu

    O registo de alterações do próprio repositório explica a retirada, a 7 de outubro: «um erro de sinal invalida um argumento de cancelamento de traços de estabilização». A falha num trabalho sobre classes de Weil arrastou duas provas que dele dependiam, e as três foram retiradas — sobre classes de Weil, correspondências de Kuga–Satake e a conjetura de Hodge racional para produtos de superfícies K3. Outros catorze manuscritos foram revistos, com reparações de provas e hipóteses corrigidas.

    O erro não é um caso isolado. Um artigo de matemáticos de Cambridge e do King’s College documentou discrepâncias entre a prova em linguagem natural e o código Lean de uma solução derivada das equações de Navier-Stokes, e concluiu que estas provas «não devem ser aceites à partida sem a mesma revisão por pares» das restantes. Andrew Sutherland, do MIT, disse à Scientific American que se deve esperar que «algumas provas contenham erros, possivelmente graves». Roland Bauerschmidt, da Universidade de Nova Iorque, foi mais direto: parte do material, disse, «é lixo gerado por IA» — «se tivesse recebido isto por email de um desconhecido, provavelmente teria apagado».

    os matemáticos não pediram isto

    A reação mais dura veio da Association for Human Mathematics, num comunicado de 7 de outubro: «publicar mais de 700 ficheiros de uma vez não é uma demonstração de erudição, mas de poder». A associação pediu aos matemáticos que deixem de trabalhar com a OpenAI.

    Havia um acordo e não foi cumprido. O Advisory Group on Mathematics and Artificial Intelligence, ligado ao Institute for Advanced Study de Princeton, publicou normas no fim de setembro cujo primeiro pedido era que os laboratórios parassem de testar problemas avançados em modelos proprietários. A OpenAI diz exatamente o contrário no README: avalia modelos proprietários com problemas em aberto. O instituto lembrou que «a IA pode produzir argumentos matemáticos sem que o humano que a pediu os compreenda, verifique ou assuma responsabilidade».

    Terence Tao resumiu o problema: há «problemas resolvidos autonomamente por quem se limita a escrever o pedido, sem interesse no resto da área». Melanie Wood, de Harvard, foi direta: «não há compreensão humana destes resultados no momento da publicação, e agora começa o trabalho». No MathOverflow, alguém perguntou como contactar os autores — não há morada de correspondência nos manuscritos.

    e não foi só a matemática

    Na quinta-feira, o Financial Times escreveu que a OpenAI tinha dito aos investidores que a receita anualizada se aproximava dos 50 mil milhões de dólares no fim de setembro, muito abaixo dos 70 mil milhões que a imprensa tinha reportado a partir de documentos de investidores. A Reuters confirmou o número. As ações ligadas à IA — Nvidia, Oracle, CoreWeave — caíram, e o Nasdaq chegou a perder mais de 300 pontos.

    Na semana anterior, a OpenAI despedira três investigadores de segurança; esta quinta-feira, Jasmine Wang, Tomek Korbak e Mikita Balesni publicaram uma carta aberta em que negam ter tratado mal informação sensível e avisam que o despedimento está a criar um «efeito de arrefecimento» dentro da empresa. A OpenAI respondeu que houve «um padrão de má conduta» e que não demitiu ninguém por levantar dúvidas de segurança.

    Fico com a aritmética da semana. A OpenAI publicou 719 provas, 42% das quais verificáveis por máquina, e retirou três em 24 horas. Deu aos investidores um número que a imprensa tinha inflacionado em 20 mil milhões. E despediu as pessoas cujo trabalho era duvidar. Cada anúncio é enorme e imediato; a verificação é pequena, lenta e continua a ser humana. «Demonstração de poder» foi a expressão mais certeira da semana — não porque a matemática esteja errada, mas porque ninguém, para já, a consegue ler.

    fontes