Thread de meng shao (@shao__meng)

[Recomendação de código aberto] TOON: Um formato de serialização de código aberto projetado especificamente para sistemas LLM (Memória de Baixo Nível) para entrega de dados estruturados. É essencialmente uma alternativa compacta e determinística ao JSON, reduzindo significativamente o consumo de tokens, mantendo a integridade e a legibilidade dos dados. Objetivos do projeto O principal objetivo do TOON (Token-Oriented Object Notation) é otimizar a transmissão de dados estruturados em dicas LLM. À medida que as janelas de contexto dos sistemas de IA se expandem e a frequência de uso aumenta, o custo dos tokens se torna um gargalo crítico. O TOON transforma os dados em um formato mais eficiente, removendo símbolos redundantes (como parênteses, aspas e chaves duplicadas) do JSON, tornando-o particularmente adequado para grandes arrays uniformes (como registros de usuários ou dados de séries temporais). Testes de benchmark mostram que ele pode reduzir o uso de tokens em 30 a 60%, diminuindo assim os custos de chamadas de API e melhorando a confiabilidade da análise de dados LLM. Principais características: Tokens eficientes: Utiliza uma estrutura indentada semelhante ao YAML e uma representação de matriz tabular no estilo CSV, exigindo apenas uma declaração de chave, com os dados subsequentes apresentados em formato de linha para evitar duplicação. • Compatível com LLM: Etiquetas de comprimento explícitas e declarações de campo integradas ajudam os modelos a validar e extrair informações com precisão. Em testes de desempenho, o TOON alcança uma precisão de recuperação de dados de 73,9%, superando os 69,7% do JSON. • Sintaxe minimalista: Remove pontuação desnecessária, usa aspas apenas quando a string contém espaços ou caracteres especiais e oferece suporte a Unicode e emojis. • Opções flexíveis: Permite separadores personalizados (como vírgulas, tabulações ou barras verticais), tamanho do recuo e se deve adicionar um prefixo de comprimento (como [#3] para indicar um comprimento de matriz de 3). • Suporte a tipos: Além de lidar com tipos básicos, também pode converter Date, BigInt, etc. em formatos serializáveis; não suporta funções ou valores indefinidos, que são convertidos para nulo. TOON não é um formato de armazenamento universal, mas sim uma ferramenta de otimização para entradas LLM. Suas vantagens são menos pronunciadas para dados não uniformes ou profundamente aninhados do que para dados tabulares simples. A conexão com a IA TOON é particularmente adequado para aplicações de agentes inteligentes e LLM (Modelagem de Aprendizado de Liderança), como consultas ou análises de grandes volumes de dados estruturados. Seu design tabular aprimora a compreensão do modelo e a precisão da recuperação, ao mesmo tempo que reduz a sobrecarga de tokens, tornando os sistemas de IA de grande escala mais escaláveis. Endereço de código aberto