TOON vs JSON dans les LLMs : Qu'est-ce que c'est et remplacera-t-il JSON dans les agents IA ?

Introduction

Aujourd'hui, dans le monde des LLM (Large Language Models) et des agents d'IA, les formats que nous utilisons pour envoyer des données structurées sont plus importants que jamais. Découvrez TOON (Token-Oriented Object Notation), un format de sérialisation émergent qui promet de réduire l'utilisation de jetons tout en préservant la structure, la lisibilité et la conscience du schéma. Mais qu'est-ce que TOON exactement, et pourrait-il réellement remplacer JSON dans les flux de travail basés sur les LLM ? Dans cet article, nous explorons la conception de TOON, comment il se compare à JSON (et à d'autres formats comme YAML et JSON compressé), et s'il constitue une alternative pratique pour les agents d'IA du monde réel.

Qu'est-ce que TOON ?

TOON, abréviation de Token-Oriented Object Notation (Notation d'objets orientée jetons), est un format de sérialisation lisible par l'homme et conscient du schéma, spécifiquement adapté aux entrées des LLM. Selon ses créateurs, il préserve le même modèle de données que JSON — objets, tableaux, primitives — mais utilise une syntaxe plus compacte conçue pour minimiser le nombre de jetons lorsqu'il est introduit dans les modèles.

Les principales caractéristiques de TOON incluent :

• Efficacité des jetons : TOON utilise souvent 30 à 60 % moins de jetons que le JSON joliment formaté pour les grands tableaux uniformes.
• Définitions conscientes du schéma : Il définit explicitement les longueurs de tableau (par exemple, users[3]) et les en-têtes de champ ({id,name}), ce qui aide les LLM à valider et interpréter la structure de manière fiable.
• Syntaxe minimale : TOON supprime une grande partie de la ponctuation associée à JSON (accolades, crochets, la plupart des guillemets) et s'appuie sur l'indentation et les virgules, de manière similaire à YAML et CSV.

• Format tabulaire pour les tableaux uniformes : Lorsque vous avez plusieurs objets avec les mêmes clés, TOON utilise une disposition compacte, basée sur des lignes (style CSV) qui déclare les champs une fois, puis liste les valeurs en lignes.

Essentiellement, comme indiqué sur GitHub, TOON n'est pas un nouveau modèle de données — c'est une couche de traduction : vous écrivez vos données en JSON ou dans des structures de données natives et les convertissez en TOON lorsque vous les envoyez aux LLM pour économiser des jetons.

Comparaison de TOON avec JSON, YAML et JSON compressé

Pour comprendre si TOON pourrait remplacer JSON pour les LLM et les agents d'IA, il est utile de le comparer à d'autres formats de sérialisation courants, y compris YAML et le JSON compressé.

JSON

1. Familiarité : JSON est omniprésent et pris en charge par presque tous les langages de programmation, bibliothèques et API.
2. Verbosité : JSON inclut de nombreux caractères structurels — guillemets, accolades, crochets — ce qui augmente le nombre de jetons lorsqu'il est utilisé dans les requêtes LLM.
3. Absence de conscience du schéma : Le JSON standard ne communique pas explicitement les longueurs de tableau ou les en-têtes de champ, ce qui peut entraîner une ambiguïté lorsqu'un LLM reconstruit des données structurées.

[
  {
    "id": 1,
    "name": "Alice",
    "age": 30
  },
  {
    "id": 2,
    "name": "Bob",
    "age": 25
  },
  {
    "id": 3,
    "name": "Charlie",
    "age": 35
  }
]

JSON compressé (ou JSON minifié)

1. Compacité : En supprimant les espaces, les sauts de ligne et l'indentation, le JSON minifié réduit la taille par rapport au JSON joliment formaté.
2. Toujours coûteux en jetons : Même le JSON compressé conserve tous les caractères structurels (accolades, guillemets, virgules), ce qui augmente l'utilisation des jetons dans les contextes LLM.
3. Aucune protection structurelle : Il manque les marqueurs de schéma explicites que TOON fournit, de sorte que les LLM peuvent être plus sujets aux erreurs lors de la reconstruction des données.

[{"id":1,"name":"Alice","age":30},
{"id":2,"name":"Bob","age":25},
{"id":3,"name":"Charlie","age":35}]

YAML

1. Lisible : YAML utilise l'indentation au lieu des accolades, ce qui peut rendre les données imbriquées plus conviviales.
2. Moins verbeux que JSON : Parce qu'il évite de nombreuses accolades et guillemets, YAML peut économiser quelques jetons par rapport à JSON.
3. Ambiguïté : Sans longueurs de tableau ou en-têtes de champ explicites (à moins d'être ajoutés manuellement), les LLM pourraient mal interpréter la structure ou perdre en précision.

- id: 1
  name: Alice
  age: 30
- id: 2
  name: Bob
  age: 25
- id: 3
  name: Charlie
  age: 35

TOON

1. Économies de jetons : TOON offre des réductions de jetons spectaculaires, en particulier pour les tableaux uniformes, grâce à sa notation de style tableau et à sa ponctuation minimale. (Aitoolnet)
2. Garde-fous de schéma : Des marqueurs explicites (comme [N] et {fields}) fournissent des signaux de validation aux LLM, améliorant la fidélité de la structure.
3. Lisible par l'homme : Le mélange d'indentation et de lignes de type CSV le rend très lisible, en particulier pour les développeurs familiers avec YAML ou les données tabulaires. (Toonkit | Ultimate TOON Format Toolkit)
4. Compromis modèle-jeton : Sur des données non uniformes ou profondément imbriquées, JSON pourrait en fait être plus efficace ; les avantages de TOON brillent le plus lorsque les données sont tabulaires et uniformes.

[3]{id,name,age}:
  1,Alice,30
  2,Bob,25
  3,Charlie,35

TOON dans le contexte des agents d'IA et des LLM

Pourquoi les développeurs explorent-ils TOON dans les contextes des LLM et des agents d'IA ? Voici quelques-unes des principales motivations :

• Efficacité des coûts : Les API LLM facturent souvent par jeton. En réduisant l'utilisation des jetons, TOON peut réduire considérablement les coûts d'entrée.
• Optimisation de la fenêtre contextuelle : Des données sérialisées plus petites signifient plus d'espace dans la fenêtre contextuelle du modèle pour d'autres contenus (instructions, exemples, chaîne de pensée).
• Fiabilité améliorée : Une structure explicite (longueur de tableau, noms de champ) aide les LLM à valider le format d'entrée et réduit les hallucinations ou les données mal placées.
• Flux de travail agentiques : Pour les agents d'IA effectuant des appels d'outils ou un raisonnement en plusieurs étapes, TOON aide à maintenir la cohérence et la clarté des données structurées à travers les étapes.
• Conversion transparente : Vous pouvez maintenir votre backend en JSON, le convertir en TOON avant de l'envoyer au LLM, et le re-parser plus tard — sans refonte de votre modèle de données.

Limitations et quand TOON pourrait ne pas être idéal

Malgré ses avantages, TOON n'est pas une panacée. Il existe plusieurs scénarios où JSON (ou d'autres formats) pourrait encore être supérieur :

• Données profondément imbriquées ou non uniformes : Si vos données comportent de nombreux niveaux ou des formes d'objets incohérentes, l'approche tabulaire de TOON peut ne pas s'appliquer, et JSON peut être plus compact ou plus clair.
• Désaccord de formation : De nombreux LLM ont été entraînés principalement sur JSON, et non sur TOON. Il existe un risque que les LLM interprètent mal le contenu TOON s'ils ne sont pas sollicités correctement. Comme certains utilisateurs le notent sur Reddit, enseigner un nouveau format au modèle pourrait introduire des erreurs d'analyse.
• Attentes d'échange : Si vos données doivent être consommées par des systèmes traditionnels, des API ou des stockages qui attendent du JSON, TOON pourrait ne pas être directement accepté.
• Maturité des outils : Bien qu'il existe des SDK en TypeScript, Python et d'autres, TOON est encore plus récent et moins universellement pris en charge que JSON ou YAML.

Foire Aux Questions (FAQ)

Q1. Que signifie TOON ?
Rép: TOON signifie Token-Oriented Object Notation (Notation d'objets orientée jetons), un format conçu pour encoder des données structurées en moins de jetons spécifiquement pour l'entrée des LLM.

Q2. TOON peut-il représenter toutes les données JSON ?
Rép: Oui — Selon ToonParse, TOON est sans perte par rapport au modèle de données JSON. Il prend en charge les mêmes types primitifs, objets et tableaux que JSON.

Q3. Quelles économies de jetons TOON permet-il ?
Rép: Des benchmarks sur ToonParse et GitHub suggèrent que TOON peut réduire les jetons de 30 à 60 % par rapport au JSON joliment formaté pour les tableaux uniformes. La précision typique pour la récupération structurée reste élevée, grâce aux marqueurs de schéma explicites de TOON.

Q4. Les LLM comprendront-ils le format TOON directement ?
Rép: De nombreux LLM peuvent comprendre TOON lorsqu'ils sont correctement sollicités (par exemple, en montrant des exemples avec users[2]{...}:). La conscience du schéma dans TOON aide les modèles à valider la structure de manière plus fiable. Cependant, cela peut nécessiter un certain ajustement des requêtes lors de l'utilisation de modèles non pré-entraînés sur TOON.

Q5. TOON remplace-t-il JSON dans les API et le stockage ?
Rép: Pas nécessairement. Selon GitHub, TOON est optimisé pour l'entrée des LLM. Pour les API, le stockage ou l'échange où JSON est la norme, JSON ou d'autres formats peuvent toujours être plus appropriés. TOON est mieux utilisé comme couche de traduction dans votre pipeline LLM.

Verdict : TOON remplacera-t-il JSON dans les LLM et les agents d'IA ?

En bref : TOON est un complément puissant et intelligent à JSON — en particulier pour les flux de travail basés sur les LLM — mais il est peu probable qu'il remplace complètement JSON de manière générale.

Voici mon point de vue :

1. Pour les prompts LLM, les agents d'IA et l'orchestration d'outils en plusieurs étapes, TOON offre une réelle valeur ajoutée. Les économies de jetons, la clarté et les garde-fous de schéma en font un choix attrayant lorsque le coût, la taille du contexte et la fiabilité sont importants.
2. Pour les API à usage général, la persistance des données ou l'interopérabilité, le JSON traditionnel (ou même le JSON compressé/minifié) restera dominant. JSON est profondément ancré dans presque tous les écosystèmes de programmation, et de nombreux systèmes s'attendent à ce format.
3. Pour les équipes travaillant déjà avec des données structurées tabulaires ou uniformes, TOON peut être une solution gagnant-gagnant : convertir en TOON avant d'envoyer aux LLM, puis reconvertir en JSON pour la consommation en aval.

En fin de compte, TOON n'est pas un remplacement complet dans la plupart des piles technologiques — c'est un outil très efficace dans votre boîte à outils LLM. Utilisez-le là où vous en tirez le plus grand bénéfice : dans les invites structurées pour les agents, les pipelines RAG et l'utilisation de LLM sensible aux coûts.

Conclusion

TOON représente une évolution réfléchie de la manière dont nous sérialisons les données structurées pour les LLM et les agents d'IA. En combinant une syntaxe minimale, une conscience du schéma et une lisibilité humaine, il permet une conception d'invites plus efficace, plus rentable et plus précise. Alors que JSON reste la norme d'échange de données, la place de TOON en tant que couche spécialisée pour l'entrée des LLM semble fermement justifiée.

Si votre cas d'utilisation implique l'envoi de grandes quantités de données structurées à un LLM — en particulier si elles sont uniformes ou tabulaires — TOON est un outil qui mérite d'être exploré. Soyez simplement conscient de ses limites et continuez à utiliser JSON ou d'autres formats lorsque ces contextes se présentent.