Awesome GitHub RepositoriesToken-Level Incremental Processing

Harmony est un SDK d'IA conçu pour tokeniser les conversations, formater les mises en page de raisonnement, analyser les sorties brutes et définir des schémas d'appel d'outils. Il fournit un système pour convertir les dialogues structurés et les appels d'outils en séquences de jetons requises pour l'inférence et l'entraînement de grands modèles de langage. Le projet inclut un formateur de sortie qui structure les chaînes de raisonnement et les sorties multicanaux en mises en page cohérentes pour éviter la perte de jetons. Il dispose également d'un analyseur de réponse qui transforme les jetons de complétion bruts et les flux en direct en objets de message et rôles structurés. Le SDK gère l'intégration d'outils via un framework pour définir des fonctions appelables et des espaces de noms. Il fournit en outre des capacités pour l'analyse de jetons en temps réel, la configuration du comportement du modèle, et la sérialisation de conversation avec état.

Nearley is a JavaScript parser toolkit used to define context-free grammars and generate corresponding parsers. It features an EBNF grammar compiler that transforms language definitions written in extended Backus-Naur Form into executable JavaScript code, utilizing an Earley parser implementation to process any context-free grammar. The toolkit distinguishes itself by its ability to handle left-recursion and ambiguity without failing, allowing it to identify and return multiple valid derivations for a single input string. It also includes a grammar fuzzing generator to produce random strings

Nearley is a JavaScript parser toolkit and context-free grammar compiler. It functions as an Earley parser generator that transforms BNF-like grammar definitions into executable code capable of analyzing text and generating abstract syntax trees. The project is distinguished by its ability to handle any context-free grammar, including those with left recursion and ambiguity, by maintaining multiple valid derivations for a single input. It further supports incremental parsing, allowing input strings to be processed in chunks to provide partial results and real-time feedback. Beyond core parsi

The YAML Language Server is a backend service that provides intelligent editing support for YAML files by implementing the Language Server Protocol. It functions as a validation and analysis engine, enabling code editors to offer real-time diagnostics, structural feedback, and automated assistance for configuration-heavy development workflows. The project distinguishes itself through its schema-driven approach to data integrity, utilizing a JSON Schema validation engine to verify document structure against formal definitions. It supports complex configuration management by allowing developers