Estou começando a achar que não vamos resolver o problema das alucinações tão cedo sem uma melhoria significativa na inferência. Isso não é apenas um problema de treinamento, pelo menos no curto prazo. O modelo de mundo LLM é como uma mancha gaussiana: mova-se um pouco para fora da área de visão bem coberta e você verá uma área desfocada. E os LLMs, apesar de supostamente terem detecção de confiança interna, ainda não sabem que essa borda de desfoque é o momento de dizer "Eu não sei". Estou pessimista quanto a superar isso com, por exemplo, sondagem de conhecimento + RL, porque a enorme área e a superfície irregular da esfera de conhecimento dificultam a generalização entre subdomínios; você estará jogando "acerte a toupeira". Gemini é fenomenal porque não só consegue repetir o que eu digo, como às vezes antecipa o que eu diria *uma vez depois* (e muitas vezes diz, se eu usar Sonnet em paralelo, porque Sonnet não consegue fazer isso). Possui um conhecimento profundo e abrangente. Mas se o pressionarmos ainda mais, ele alucinará absurdos muito plausíveis *que você poderia ter acreditado*. O mesmo de antes. Não podemos resolver alucinações apenas com escala.
