Crianças superam inteligência artificial na aprendizagem de idiomas e cientistas ainda não sabem explicar por quê
Pesquisadores de todo o mundo tentam entender por que crianças aprendem linguagem natural com uma quantidade ínfima de dados se comparada aos modelos de inteligência artificial mais avançados. A diferença é tão expressiva que uma criança exposta a um ambiente linguisticamente rico pode dominar o idioma materno ouvindo cerca de cem milhões de palavras até a idade adulta, enquanto modelos de linguagem de grande escala, conhecidos como LLMs, precisam absorver volumes trilhões de vezes maiores durante o treinamento.
O cientista cognitivo Michael C. Frank, da Universidade Stanford, resume a disparidade de forma direta. Segundo ele, os avanços recentes são impressionantes, mas ainda é necessário "queimar uma floresta e raspar toda a soma do conhecimento humano" para reproduzir um marco que acontece na sala de estar de qualquer família ao longo de um ano. Essa distância entre o aprendizado infantil e o aprendizado de máquina foi batizada de dados de eficiência, e coloca um desafio concreto para arquitetos de inteligência artificial.
O tamanho do abismo fica mais claro em comparações práticas. Ethan Gotlieb Wilcox, cientista cognitivo e linguista da Universidade Georgetown, afirma que um modelo como o Claude já processou uma quantidade de texto equivalente a toda a linguagem ouvida por uma cidade inteira em uma geração. Se todo o material usado no treinamento fosse impresso, a pilha de papel ultrapassaria a Estação Espacial Internacional, enquanto as cem milhões de palavras ouvidas por uma criança chegariam a apenas vinte metros de altura.
Para tentar superar essa limitação, foi criada a competição BabyLM, idealizada pelo linguista e cientista de dados Alex Warstadt, da Universidade da Califórnia em San Diego. O desafio propõe treinar modelos de linguagem em um corpus considerado plausível do ponto de vista do desenvolvimento infantil, com cem milhões de palavras no nível equivalente a um pré-adolescente e dez milhões no nível de uma criança pequena. Os textos são retirados de livros infantis, diálogos, legendas de filmes, Wikipédia simplificada e transcrições reais de fala direcionada a crianças. Os modelos são avaliados com base em testes gramaticais usados por psicolinguistas com humanos, incluindo medidas de surpresa ao deparar com construções agramaticais.
O grande vencedor da edição de 2024 foi o modelo GPT-BERT, um transformador treinado parcialmente para prever a próxima parte de uma sequência de palavras, como os LLMs atuais, e parcialmente para preencher lacunas no estilo do modelo BERT. Quando pré-treinado em cerca de cem milhões de palavras, o GPT-BERT conseguiu superar o desempenho do Llama 2 70B, da Meta, que havia sido pré-treinado com aproximadamente quinze mil vezes mais dados, em um dos testes da BabyLM. Mesmo assim, nenhum dos modelos competidores se compara aos grandes modelos comerciais, e muitos sequer são capazes de gerar texto coerente.
Parte da explicação para a eficiência infantil pode estar em formas de aprendizado que extrapolam o texto escrito. Frank lidera o projeto SAYCam, que equipou bebês com câmeras na cabeça para registrar suas experiências visuais durante os primeiros anos de vida. A partir dessas imagens, o cientista cognitivo Brenden Lake, da Universidade Princeton, treinou em 2024 um modelo que aprendeu a identificar objetos e associá-los a palavras usando apenas 61 horas de gravações, sem depender de vieses previamente codificados sobre o comportamento infantil. Ainda assim, Lake reconhece que o modelo não produz algo equivalente a uma criança de dois anos.
Outro esforço ambicioso está em curso com a pesquisadora Uri Hasson, da Universidade Princeton, que passou os últimos cinco anos registrando os primeiros mil dias de vida de dezessete crianças, com câmeras e microfones instalados em todos os cômodos das casas. O volume de dados resultante só se tornou viável graças a novas ferramentas de transcrição e análise de vídeo por inteligência artificial.
Especialistas em desenvolvimento infantil apontam ainda que crianças não absorvem o mundo de forma passiva. Segundo a psicóloga do desenvolvimento Alison Gopnik, da Universidade de Berkeley, elas exploram ativamente o ambiente, escolhem seus próprios dados e realizam experimentos para maximizar sua capacidade de agir sobre o mundo. A cientista cognitiva Elizabeth Bonawitz, de Harvard, acrescenta que crianças interpretam informações levando em conta quem está ensinando e por quê, algo muito distante do aprendizado isolado dos modelos.
A superação dessa diferença tem aplicações práticas relevantes. David Samuel, pesquisador da Universidade de Oslo e um dos arquitetos do GPT-BERT, trabalha para desenvolver modelos eficientes em idiomas com poucos dados disponíveis, como o tcheco e o norueguês. Em casos extremos, línguas minoritárias como o sami dispõem de apenas dezenas de milhões de palavras para treinamento, escala semelhante à exposição de uma criança pequena.
Para os pesquisadores envolvidos, fechar esse abismo pode representar uma nova forma de estudar a própria mente humana. Warstadt resume a situação ao afirmar que, pela primeira vez em cem mil anos, os seres humanos deixaram de ser a única entidade no universo capaz de usar linguagem. Os modelos de linguagem funcionam como uma espécie de organismo modelo, conceito emprestado da biologia, um substituto imperfeito, mas informativo, que pode ajudar a responder perguntas antigas sobre como aprendemos a falar.
