Quem se lembra de quando Karpathy estudava o ImageNet manualmente? A inspeção manual das entradas dos modelos ainda tem um enorme potencial, ainda mais hoje em dia com LLMS/Agentes. Isso ajuda a desenvolver intuições e, consequentemente, a aprimorar a engenharia de agentes. As entradas dos agentes hoje são enormes aglomerados de prompts do sistema, definições de ferramentas, entradas/saídas de ferramentas, raciocínio, mensagens do usuário e saídas do agente. @HamelHusain, você está com aquela vibe de "analisar seus dados". Tipo, se você realmente lesse tudo isso, teria alguma ideia do que estava acontecendo? Mas você pode ajudar o modelo a te ajudar criando sistemas que preparem bem a entrada de dados (engenharia de contexto). As melhores intuições sobre modos de falha geralmente vêm da leitura direta dos rastros. E hoje, os agentes podem ajudar você a analisar a enorme quantidade de dados gerados em várias execuções. Mas fique atento: os humanos são excelentes avaliadores em áreas que conhecem bem, enquanto os agentes são excelentes identificadores de padrões em meio a oceanos de dados — uma ótima combinação. Gostaria de saber o quanto os agentes de construção sentem que trabalham manualmente e o quanto acham que isso os ajuda.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.