Hilo de meng shao (@shao__meng)

[Recomendación de código abierto] TOON: Un formato de serialización de código abierto diseñado específicamente para sistemas LLM (Low-Level Memory) para la entrega de datos estructurados. Esencialmente, es una alternativa compacta y determinista a JSON, que reduce significativamente el consumo de tokens manteniendo la integridad y legibilidad de los datos. Objetivos del proyecto El objetivo principal de TOON (Token-Oriented Object Notation) es optimizar la transmisión de datos estructurados en las sugerencias de LLM. A medida que se amplían las ventanas de contexto de los sistemas de IA y aumenta la frecuencia de uso, el coste de los tokens se convierte en un cuello de botella crítico. TOON transforma los datos a un formato más eficiente eliminando símbolos redundantes (como paréntesis, comillas y claves duplicadas) de JSON, lo que lo hace especialmente adecuado para matrices grandes y uniformes (como registros de usuarios o datos de series temporales). Las pruebas de rendimiento demuestran que puede reducir el uso de tokens entre un 30 % y un 60 %, disminuyendo así los costes de las llamadas a la API y mejorando la fiabilidad del análisis de datos de LLM. Características clave: Tokens eficientes: Emplea una estructura indentada similar a YAML y una representación de matriz tabular al estilo CSV, lo que requiere una sola declaración de clave, con los datos subsiguientes presentados en formato de fila para evitar duplicaciones. • Compatible con LLM: Las etiquetas de longitud explícitas integradas y las declaraciones de campos ayudan a los modelos a validar y extraer información con precisión. En las pruebas de rendimiento, TOON alcanza una precisión de recuperación de datos del 73,9 %, superando el 69,7 % de JSON. • Sintaxis mínima: Elimina la puntuación innecesaria, utiliza comillas solo cuando la cadena contiene espacios o caracteres especiales y admite Unicode y emojis. • Opciones flexibles: Permite separadores personalizados (como comas, tabulaciones o barras verticales), tamaño de sangría y si se debe agregar un prefijo de longitud (como [#3] para indicar una longitud de matriz de 3). • Compatibilidad con tipos: Además de manejar tipos básicos, también puede convertir Date, BigInt, etc. a formatos serializables; no admite funciones ni valores indefinidos, que se convierten en nulos. TOON no es un formato de almacenamiento universal, sino una herramienta de optimización para entradas LLM. Sus ventajas son menos pronunciadas para datos no uniformes o profundamente anidados que para datos tabulares simples. La conexión con la IA TOON resulta especialmente adecuado para aplicaciones de agentes inteligentes y LLM, como la consulta o el análisis de grandes volúmenes de datos estructurados. Su diseño tabular mejora la comprensión del modelo y la precisión de la recuperación, a la vez que reduce la sobrecarga de tokens, lo que hace que los sistemas de IA a gran escala sean más escalables. Dirección de código abierto