Empiezo a pensar que no resolveremos la alucinación pronto sin una mejora significativa en la inferencia. Esto no es solo un problema de entrenamiento, al menos a corto plazo. El modelo del mundo LLM es como una salpicadura gaussiana: al alejarse un poco de la vista bien cubierta, se ve una borrosidad. Y los LLM, a pesar de supuestamente tener detección de confianza interna, aún no tienen idea de que este borde de borrosidad es el momento de decir "No lo sé". Soy pesimista respecto a la posibilidad de derrotarlo con, por ejemplo, sondeo de conocimiento + aprendizaje por referencia, porque la gran área y la superficie irregular de la bola de conocimiento dificultan la generalización entre subdominios; será como jugar al topo. Géminis es fenomenal, ya que no solo puede repetirme como un loro, sino que a veces anticipa lo que diría *un turno después* (y a menudo lo digo, si uso Sonnet en paralelo, porque Sonnet no puede). Tiene un conocimiento profundo y profundo. Pero si lo llevas aún más lejos, alucinará disparates muy plausibles *que quizás ya creías*. Igual que antes. No podemos resolver la alucinación solo con la escala.
