Em dois estudos randomizados sobre frações, pessoas com um assistente de conversa resolveram mais problemas enquanto ele estava disponível, mas, depois que a ferramenta foi retirada, resolveram sozinhas menos questões finais do que quem trabalhou sem ela. O artigo mais recente de Grace Liu e colegas também relata um experimento de compreensão de leitura com resultado imediato semelhante. A persistência foi medida pelo fato de os participantes pularem uma questão. O estudo não acompanhou aprendizagem ou comportamento depois da sessão.

A grande mudança

  • O que mudou: A distribuição aleatória permitiu comparar uma breve assistência de IA com a prática sem ajuda nas mesmas questões finais. A vantagem de precisão do grupo com IA durante a assistência se inverteu quando a ferramenta foi retirada.
  • Por que isso importa: Acertar com ajuda e conseguir responder sozinho à pergunta seguinte são resultados diferentes. Os estudos dão a educadores e projetistas de IA motivo para medir ambos.
  • O que permanece desconhecido: Os experimentos terminaram após um teste imediato sem ajuda. Não comprovam perda duradoura de habilidade, queda geral de atenção nem efeitos do uso rotineiro de IA por meses.

O que os dois experimentos de frações mediram

Os pesquisadores recrutaram participantes dos EUA pela plataforma on-line Prolific. No primeiro experimento, 354 pessoas foram distribuídas aleatoriamente entre uma barra lateral de conversa do GPT-5 nas primeiras 12 perguntas e uma condição sem IA. Depois, todos responderam às mesmas três perguntas finais sem IA. O assistente recebeu cada problema e sua solução, então o participante podia pedir a resposta diretamente. Também podia pular uma questão, e uma resposta errada não reduzia o pagamento. Os dois grupos viam a solução correta após enviar uma resposta incorreta.

Depois de excluir participantes por atenção e desempenho, a análise incluiu 307 pessoas. Nas três questões sem ajuda, o grupo que antes usou IA acertou 57% em média, contra 73% no controle. Pulou 20% das questões, contra 11%. Os efeitos padronizados relatados foram −0,42 para resolução (intervalo de confiança de 95% de −0,66 a −0,19) e 0,25 para pular (de 0,02 a 0,48).

A primeira regra de exclusão dificultou interpretar a comparação. Ela removeu pessoas que resolveram poucas questões iniciais, mas alguém usando IA podia superar esse limite ao enviar respostas da própria IA. Os grupos finais também eram desiguais: 185 no grupo de IA e 122 no controle.

O segundo experimento recrutou 667 pessoas e testou a capacidade básica com frações antes de qualquer assistência. Na fase principal, o grupo de IA teve a barra de conversa em 11 questões. O controle viu uma barra com soluções já reveladas no pré-teste. As duas barras foram removidas antes das mesmas três questões finais sem ajuda. Esse desenho tratou da preocupação com seleção de habilidade do primeiro estudo e tornou a mudança de interface mais comparável.

Após exclusões pelo pré-teste e por uma checagem de atenção, restaram 585 pessoas: 308 no grupo de IA e 277 no controle. O grupo que antes usou IA acertou 71% das questões finais, contra 77% no controle. A diferença padronizada foi −0,19 (intervalo de confiança de 95% de −0,36 a −0,03). Pulou 10% das questões, contra 7%, mas a diferença geral foi estatisticamente incerta: o intervalo informado para o efeito padronizado foi de −0,07 a 0,26. Essa replicação apoia uma diferença imediata menor de precisão; sozinha, não estabelece uma diferença geral de persistência.

Os pesquisadores também compararam como as pessoas do grupo de IA disseram usar o assistente. Entre 308 participantes analisados, 189 relataram pedir principalmente respostas diretas, 82 buscar dicas ou esclarecimentos e 37 não usar IA. O grupo de respostas diretas teve menor precisão final e pulou mais questões que o controle e o grupo de dicas. Os próprios participantes escolheram essas categorias; não houve distribuição aleatória. As diferenças não provam que pedir respostas tenha causado a lacuna.

O resultado de leitura e os limites da afirmação

O terceiro experimento recrutou 201 pessoas para questões de leitura no estilo SAT. O grupo de IA podia consultar uma barra de conversa em cinco questões; o controle tinha dicas gerais de leitura. Depois, ambos responderam a três questões sem a barra. A análise final incluiu 168 participantes. O grupo que antes usou IA acertou 76% das questões finais, contra 89% no controle; as taxas de pular foram 8% e 1%. O artigo informa P=0,007 para precisão e P=0,008 para pular. Nesse experimento, uma resposta enviada em menos de cinco segundos também contou como questão pulada.

A distribuição aleatória sustenta conclusões sobre essas tarefas curtas e o período imediato após o fim da ajuda. Não identifica mudança duradoura de capacidade ou motivação. Os autores dizem não saber se os efeitos duram horas ou dias, se se acumulam com uso diário ou desaparecem. O assistente foi configurado para dar respostas completas quando solicitado; os experimentos não testaram se outro modelo de tutoria produziria o mesmo resultado.

A reportagem da Berkeley News de 9 de outubro descreve o trabalho como evidência de que o uso breve de IA prejudica foco e persistência. O artigo mediu respostas corretas e questões puladas, não um resultado separado de foco. O segundo experimento de frações encontrou uma diferença geral incerta na taxa de pular. Berkeley também cita uma interpretação mais ampla de um pesquisador sobre especialização em educação e trabalho. São questões para estudos futuros, além do que essas sessões mediram.

Fontes e leituras adicionais