Eso es lo que yo también pienso, y creo que se puede ver claramente en los ejemplos que me gusta publicar. No se centra en verdades; se tambalea en la dirección aproximada que marca el contexto. En realidad, no busca resolver problemas ni hacer descubrimientos.
Hay una línea recta desde gpt-3.5, que dice que un granjero necesita siete viajes para cruzar un río sin cabras ni lobos, hasta esto. Lo que todos los LLM tienen en común es que no intentan resolver problemas, sino generar texto que superficialmente se asemeja a soluciones.
A veces, la razón por la que algo superficialmente se parece a una solución es que es una solución. Pero no creo que se pueda confiar en esto para lograr un progreso profundo en ningún campo.
Espero que si alguien demuestra la Hipótesis de Riemann mañana, pueda explicar la demostración a GPT-5.2 y este parezca entenderla. Y entonces uno se preguntará por qué no llegó allí por sí solo. La razón es que nada lo impulsa en esa dirección.