Creía saber mucho sobre ingeniería de avisos, hasta que intenté escribir una serie de artículos sobre agentes de IA. Entonces me di cuenta de que solo tenía un conocimiento superficial de la ingeniería de avisos. --- GPT-2 tiene 1.500 millones de parámetros, en comparación con los 117 millones de parámetros de GPT. El tamaño de los datos de entrenamiento de GPT-2 es de 40 GB de texto, mientras que GPT solo tiene 4,5 GB. Este aumento de orden de magnitud en el tamaño del modelo y de los datos de entrenamiento genera una calidad emergente sin precedentes: Los investigadores ya no necesitan ajustar GPT-2 para una sola tarea. En su lugar, pueden aplicar directamente el modelo preentrenado sin ajustar a una tarea específica y, en muchos casos, incluso supera a los modelos de vanguardia específicamente ajustados para esa tarea. GPT-3 ha logrado otra mejora de orden de magnitud tanto en el tamaño del modelo como en el tamaño de los datos de entrenamiento, acompañada de un salto significativo en las capacidades. El artículo de 2020 "Los modelos de lenguaje son aprendices de pocas oportunidades" muestra que al proporcionar a un modelo solo unos pocos ejemplos de tareas (es decir, los llamados ejemplos de pocas oportunidades), el modelo puede reproducir con precisión los patrones en la entrada, logrando así casi cualquier tarea basada en el lenguaje que pueda imaginar y, a menudo, con resultados de muy alta calidad. Fue en esta etapa que se comprendió que, modificando la entrada (es decir, la indicación), se podía restringir el modelo para que realizara la tarea específica requerida. En ese momento nació la ingeniería de indicaciones. ---
Así somos los humanos. Gente inteligente, si les das una sola palabra clave, casi pueden reconstruirte la historia completa.