Parece que houve uma anistia. 🙏 Eliezer levanta um ponto válido ao afirmar que o pré-treinamento deveria produzir uma teoria esquizofrênica do tempo. Mas isso NÃO afeta outros modelos tão negativamente quanto o Gemini. Registros de tempo implícitos e explícitos são suficientes para formar um senso quase cronológico. Então, por quê?
Também acho que não estamos trabalhando o suficiente com o currículo, mas sei que essa é a primeira intuição do bebê. Fizemos muitos experimentos e o treinamento aleatório em larga escala é uma base muito sólida. Os documentos são mais pensamentos do que experiências. A edição da Gemini é… especial.