A Association for Human Mathematics (AHM) apelou aos matemáticos para deixarem de trabalhar com a OpenAI, depois de a empresa ter divulgado uma grande coleção de matemática gerada por IA a 6 de outubro. Na sua declaração de 7 de outubro, a principal objecção do grupo é a utilização de um modelo privado para abordar problemas abertos avançados e a divulgação simultânea de centenas de artigos daí resultantes. Contesta a afirmação da OpenAI de que este modelo de publicação faz avançar a matemática, embora os ficheiros públicos permitam analisar alegações individuais.

Essa é a posição do Grupo de Trabalho de Comunicação da AHM. Não é uma votação da comunidade matemática nem uma conclusão de que todos os manuscritos estão errados. Terence Tao republicou o texto como declaração convidada da AHM, identificando a autoria em vez de o adoptar como declaração própria.

A grande mudança

  • O que mudou: A discussão sobre o repositório da OpenAI já ultrapassa a validade de resultados individuais. A AHM contesta o papel da empresa na escolha de problemas de investigação e na definição das condições em que os matemáticos recebem os resultados.
  • Porque é importante: A disputa diz respeito a quem pode examinar a ferramenta geradora e a quem cabe o trabalho de verificar e explicar uma divulgação em massa. Estas questões persistem mesmo quando uma demonstração específica é corrigida ou formalizada.
  • O que acompanhar: A OpenAI diz que irá acrescentar formalizações. Uma avaliação independente das alegações revistas e eventuais correcções futuras com versões identificadas clarificarão quais os resultados concretos que os matemáticos podem verificar e compreender.

O que a AHM contesta

A AHM afirma que os matemáticos não solicitaram este trabalho. Chama à divulgação de mais de 700 ficheiros uma demonstração de poder, e não trabalho académico, e pede aos leitores que questionem o seu valor para a área. A declaração também cita o grupo consultivo independente sobre Matemática e Inteligência Artificial (AGMAI), afirmando que a OpenAI ignorou o pedido inicial do grupo para parar de testar matemática avançada em modelos internos.

Esta referência tem uma base clara. As orientações da AGMAI de 29 de setembro recomendam que os laboratórios de ponta deixem de testar problemas avançados em modelos proprietários. O mesmo documento apresenta recomendações condicionais para a divulgação de resultados caso os laboratórios já os tenham produzido: escrita matemática clara, repositórios adequados, divulgação da forma como o trabalho foi gerado, formalização quando possível e apoio à compreensão humana. Afirma que as recomendações se basearam em mais de 600 respostas a um inquérito e tiveram o apoio da maior parcela dos respondentes. Estes factos não transformam o apelo posterior da AHM para deixar de trabalhar com a OpenAI numa directiva da AGMAI nem numa decisão de toda a área.

Na sua resposta de 6 de outubro à divulgação, a AGMAI afirmou expressamente que o seu papel consultivo não significava apoiar o processo da OpenAI nem avaliar o impacto dos resultados. Descreveu a publicação como o início da avaliação humana e disse que só a comunidade matemática pode determinar até que ponto as suas recomendações foram seguidas. A OpenAI já tinha descrito o grupo como independente e afirmado que este aconselharia sobre revisão e comunicação, sem controlar o ritmo da investigação interna da empresa. A diferença entre aconselhamento e autoridade é importante: a crítica da AHM contesta as escolhas da OpenAI, mas não prova que um conselho externo as tenha aprovado ou vetado.

Um registo em mudança continua a exigir verificação

O repositório da OpenAI afirma que os trabalhos da coleção estão em diferentes fases de verificação. O catálogo actual lista 719 manuscritos em 372 famílias. Uma família pode incluir vários artigos. O repositório diz que alguns manuscritos não têm formalizações em Lean e que alguns resultados não formalizados podem ter problemas; indica que cerca de 42% dos resultados principais estão formalizados. Uma formalização é um argumento especificado e verificável por máquina para uma afirmação concreta, não uma confirmação geral de todas as alegações de um artigo relacionado; o estado num repositório também não substitui a revisão matemática independente. O nosso anterior guia dos ficheiros e das configurações das demonstrações explica como acompanhar esse âmbito.

A contagem mudou após a retirada de três manuscritos. O registo histórico da OpenAI de 7 de outubro atribui as retiradas a um erro de sinal numa demonstração que também afectou dois artigos dependentes. O registo documenta alterações a outros 14 manuscritos, actualizações de referências em mais 13 e seis formalizações adicionais. A nossa reportagem sobre os três avisos de retirada explica a conclusão mais limitada: os argumentos identificados já não demonstram as alegações desses artigos; os avisos não refutam as afirmações matemáticas. Uma demonstração retirada, um manuscrito corrigido e um resultado formalizado são estados diferentes.

As alterações ilustram o trabalho de revisão que uma coleção grande e formalizada de modo desigual pode exigir. Esta é a nossa análise do registo do repositório, não uma afirmação da declaração da AHM. A AHM opõe-se à decisão de gerar e divulgar a coleção através de um modelo proprietário. Entretanto, a OpenAI forneceu materiais com versões que os investigadores podem examinar, corrigir e debater. A nossa análise anterior da capacidade de revisão abordou o trabalho necessário para transformar um grande conjunto de resultados propostos em matemática compreendida. A disputa actual acrescenta uma pergunta mais incisiva: produzir este volume de trabalho desta forma serve as pessoas que o devem avaliar?

Fontes e leituras adicionais