Thread de Mr Panda (@PandaTalk8)

Eu achava que sabia muito sobre engenharia de comandos, até tentar escrever uma série de artigos sobre agentes de IA. Foi aí que percebi que meu entendimento sobre o assunto era apenas superficial. --- O GPT-2 possui 1,5 bilhão de parâmetros, em comparação com os 117 milhões do GPT; o tamanho dos dados de treinamento do GPT-2 é de 40 GB de texto, enquanto o do GPT é de apenas 4,5 GB. Esse aumento de uma ordem de magnitude no tamanho do modelo e dos dados de treinamento traz uma qualidade emergente sem precedentes: os pesquisadores não precisam mais ajustar o GPT-2 para tarefas individuais, mas podem aplicar diretamente o modelo pré-treinado, sem ajustes, a tarefas específicas e, em muitos casos, seu desempenho supera até mesmo o de modelos de última geração ajustados especificamente para essa tarefa. O GPT-3 alcançou uma melhoria de uma ordem de magnitude no tamanho do modelo e na escala dos dados de treinamento, acompanhada por um salto significativo em suas capacidades. O artigo de 2020 "Language Models Are Few-Shot Learners" demonstrou que, ao fornecer ao modelo apenas alguns exemplos de tarefas (ou seja, os chamados exemplos de poucos exemplos), ele poderia reproduzir com precisão os padrões na entrada, executando assim quase qualquer tarefa linguística imaginável — e frequentemente com resultados de altíssima qualidade. Foi nessa fase que se percebeu que, ao modificar a entrada — isto é, o prompt —, o modelo poderia ser condicionalmente condicionado a executar tarefas específicas. A engenharia de prompts nasceu nesse momento. ---