Thread de Subbarao Kambhampati (కంభంపాటి సుబ్బారావు) (@rao2z)

Resolver de memória versus resolver do zero — Ou a futilidade de aplicar a "Lente da Complexidade" aos Modelos de Aprendizagem de Liderança (LLMs) #SundayHarangue #NeurIPS2025 Continuo intrigado com a insistência em analisar o desempenho da tarefa LLM em termos da complexidade computacional da tarefa subjacente (ver https://t.co/4X1yQFY3KH). Isso apesar das inúmeras evidências anedóticas que já demonstram que a Inteligência Separada dos LLMs não tem relação direta com a complexidade da tarefa. Os LLMs podem ser competitivos em problemas da Olimpíada Internacional de Matemática, enquanto ainda caem em pegadinhas infantis do tipo "A Amazon me enviou um sapato esquerdo em vez do direito, e vice-versa" (vocês deveriam seguir o @conitzer para uma lista aparentemente interminável dessas pegadinhas para LLMs de última geração!). A complexidade computacional é frequentemente medida em termos de resolver uma tarefa algoritmicamente do zero. Em modelos de aprendizado de máquina (LLMs), tudo no pré-treinamento, pós-treinamento e inferência se resume a resolver o problema de memória. É claro que isso não significa que os LLMs estejam simplesmente recuperando a solução para uma tarefa específica de uma grande biblioteca de soluções anteriores. Significa que eles estão tentando resolver a tarefa não algoritmicamente do zero, mas por meio de um processo de tentativa e erro, compondo o conhecimento adquirido antes e depois do treinamento com base no conhecimento humano. Dessa perspectiva, os "tokens intermediários" gerados pelos modelos de raciocínio devem ser interpretados não como vestígios de um algoritmo criado do zero, mas talvez como um registro das tentativas do modelo de compor o conhecimento prévio em sua memória para responder à tarefa atual. (Como argumento em outro lugar, https://t.co/qE0vAwB636, o pré-treinamento pode ser visto como a ingestão do conhecimento declarativo da humanidade, enquanto o pós-treinamento pode ser visto como a ingestão incremental do conhecimento procedimental da humanidade — em termos de desdobramentos cada vez mais longos dos procedimentos). O custo/precisão da resolução de problemas por tentativa e erro composicional não se baseia na complexidade computacional da tarefa atual, mas sim na facilidade com que se pode montar uma solução a partir da memória disponível. É por isso que os Modelos de Aprendizagem Linear (LLMs) apresentam baixa precisão em tarefas que se distanciam da distribuição pré e pós-treinamento. Veja https://t.co/RL9ZEOKbpQ. Um sinal revelador da resolução de problemas baseada em memória é que o modelo pode apresentar baixa precisão e tokens intermediários mais longos ("computação") quando o problema está fora da distribuição de treinamento — mesmo que, na verdade, seja trivialmente solucionável do zero. Essa é a mensagem do nosso artigo "Pensamento Formativo" — https://t.co/itCXNctKZ1 — que será apresentado no workshop de Raciocínio Eficiente da #NeurIPS2025.