Toolathlon: Testa o desempenho de agentes inteligentes na execução de tarefas diversas e de longa duração do mundo real. Com foco em fluxos de trabalho complexos e de várias etapas no mundo real — tarefas que costumam ser tediosas, detalhadas e que exigem integração com diversas ferramentas e sistemas —, este benchmark preenche uma lacuna nos métodos de avaliação existentes, ajudando os pesquisadores a quantificar as diferenças de desempenho, a precisão dos resultados e a capacidade de lidar com tarefas ambíguas entre diferentes modelos em aplicações práticas. Conceitos básicos e mecanismos de funcionamento O Toolathlon testa o agente por meio de 108 tarefas cuidadosamente elaboradas. Essas tarefas simulam cenários profissionais do dia a dia (como processamento de e-mails, gerenciamento de arquivos e consultas a bancos de dados), com cada tarefa exigindo, em média, mais de 20 rodadas de interação, envolvendo mais de 30 servidores MCP (como sistemas de e-mail, sistemas de arquivos e a plataforma Hugging Face) e mais de 600 ferramentas, incluindo APIs personalizadas e interfaces padrão. Ao contrário de começar do zero, as tarefas partem de um estado inicial realista, garantindo que a avaliação seja mais próxima da realidade. A avaliação utiliza uma arquitetura de execução paralela, isolada e em contêineres, permitindo que todo o benchmark seja concluído em uma hora, garantindo execuções eficientes e repetíveis. Cada diretório de tarefas possui uma estrutura clara, incluindo: • Módulo de pré-processamento: Configuração opcional do ambiente inicial. • Módulo de documentação: Fornece descrições de tarefas e avisos do sistema. • Área de trabalho inicial: Estado inicial local. • Área de Trabalho de Resposta Padrão: Utilizada para verificar os resultados esperados. • Módulo de avaliação: Inclui scripts (como main.py) que verificam automaticamente a correção da saída. • Configuração da tarefa: O arquivo JSON especifica os servidores e ferramentas necessários. Baseado em uma versão adaptada da estrutura OpenAI Agent SDK, o agente invoca ferramentas de forma autônoma e interage com o sistema por meio de comandos para realizar a execução de ponta a ponta. Principais características O design da Toolathlon enfatiza a praticidade e a robustez, com destaques principais como: • Compatibilidade com múltiplos modelos: Suporta modelos de código fechado, como OpenAI, Anthropic e Google, bem como opções de código aberto, facilitando comparações entre modelos por meio de uma API unificada. • Arquitetura de agente autônomo: O agente gerencia tarefas de forma independente com base em instruções, sem intervenção humana. • Mecanismo de tolerância a erros: Quando a ferramenta apresenta mau funcionamento, ela retorna uma mensagem em vez de interromper, permitindo que a IA tente novamente ou ajuste sua estratégia. • Processamento de saídas longas: Trunca automaticamente respostas excessivamente longas e fornece ferramentas de paginação/busca para acessar o conteúdo completo. • Gerenciamento de contexto: ferramentas integradas de consulta, exclusão e recuperação de histórico para tarefas fora da janela de contexto do modelo. • Isolamento e Paralelismo: Cada tarefa é executada em um contêiner Docker/Podman independente, permitindo o processamento em lote para melhorar a escalabilidade. • Verificação de status: Salve o espaço de trabalho concluído e compare-o com os resultados esperados usando um script para garantir uma avaliação objetiva.
