meng shao(@shao__meng)의 스레드

[오픈 소스 권장 사항] TOON: 구조화된 데이터를 전달하기 위해 LLM(Low-Level Memory) 시스템을 위해 특별히 설계된 오픈 소스 직렬화 형식입니다. JSON에 대한 간결하고 결정론적인 대안으로, 데이터 무결성과 가독성을 유지하면서 토큰 소비를 크게 줄입니다. 프로젝트 목표 TOON(Token-Oriented Object Notation)의 핵심 목표는 LLM 힌트에서 구조화된 데이터 전송을 최적화하는 것입니다. AI 시스템 컨텍스트 창이 확장되고 사용 빈도가 증가함에 따라 토큰 비용이 심각한 병목 현상이 됩니다. TOON은 JSON에서 중복 기호(예: 괄호, 따옴표, 중복 키)를 제거하여 데이터를 더욱 효율적인 형식으로 변환합니다. 이는 특히 사용자 레코드나 시계열 데이터와 같은 크고 균일한 배열에 적합합니다. 벤치마크 테스트 결과, 토큰 사용량을 30~60%까지 줄여 API 호출 비용을 절감하고 LLM 데이터 파싱의 안정성을 향상시킬 수 있는 것으로 나타났습니다. 주요 특징: 효율적인 토큰: YAML과 유사한 들여쓰기 구조와 CSV 스타일의 표 형식 배열 표현을 사용하여 단 하나의 키 선언만 필요하고 이후 데이터는 중복을 피하기 위해 행 형식으로 표시됩니다. • LLM 친화적: 내장된 명시적 길이 태그와 필드 선언은 모델이 정보를 정확하게 검증하고 추출하는 데 도움을 줍니다. 벤치마크에서 TOON은 73.9%의 데이터 검색 정확도를 달성하여 JSON의 69.7%를 능가했습니다. • 최소한의 구문: 불필요한 구두점을 제거하고, 문자열에 공백이나 특수 문자가 포함된 경우에만 따옴표를 사용하며, 유니코드와 이모지를 지원합니다. • 유연한 옵션: 사용자 정의 구분 기호(쉼표, 탭 또는 세로 막대 등), 들여쓰기 크기, 길이 접두사 추가 여부(예: 배열 길이가 3임을 나타내는 [#3])를 허용합니다. • 유형 지원: 기본 유형을 처리하는 것 외에도 Date, BigInt 등을 직렬화 가능한 형식으로 변환할 수 있습니다. null로 변환되는 함수나 undefined는 지원하지 않습니다. TOON은 범용 저장 형식이 아니라 LLM 입력을 위한 최적화 도구입니다. TOON의 장점은 단순한 표 형식 데이터보다 균일하지 않거나 중첩이 심한 데이터에서 덜 두드러집니다. AI와의 연결 TOON은 대용량 정형 데이터 쿼리 또는 분석과 같은 지능형 에이전트 및 LLM 애플리케이션에 특히 적합합니다. 테이블 형식 디자인은 모델 이해도와 검색 정확도를 높이는 동시에 토큰 오버헤드를 줄여 대규모 AI 시스템의 확장성을 향상시킵니다. 오픈소스 주소