Awesome GitHub RepositoriesToken-Level Incremental Processing

Harmony es un SDK de IA diseñado para tokenizar conversaciones, formatear diseños de razonamiento, analizar salidas crudas y definir esquemas de llamadas a herramientas. Proporciona un sistema para convertir diálogos estructurados y llamadas a herramientas en las secuencias de tokens necesarias para la inferencia y el entrenamiento de modelos de lenguaje de gran tamaño. El proyecto incluye un formateador de salida que estructura cadenas de razonamiento y salidas multicanal en diseños consistentes para evitar la pérdida de tokens. También cuenta con un analizador de respuestas que transforma los tokens de finalización crudos y los flujos en vivo de vuelta en objetos de mensaje y roles estructurados. El SDK gestiona la integración de herramientas a través de un framework para definir funciones invocables y espacios de nombres. Además, proporciona capacidades para el análisis de tokens en tiempo real, la configuración del comportamiento del modelo y la serialización de conversaciones con estado.

Nearley is a JavaScript parser toolkit used to define context-free grammars and generate corresponding parsers. It features an EBNF grammar compiler that transforms language definitions written in extended Backus-Naur Form into executable JavaScript code, utilizing an Earley parser implementation to process any context-free grammar. The toolkit distinguishes itself by its ability to handle left-recursion and ambiguity without failing, allowing it to identify and return multiple valid derivations for a single input string. It also includes a grammar fuzzing generator to produce random strings

Nearley is a JavaScript parser toolkit and context-free grammar compiler. It functions as an Earley parser generator that transforms BNF-like grammar definitions into executable code capable of analyzing text and generating abstract syntax trees. The project is distinguished by its ability to handle any context-free grammar, including those with left recursion and ambiguity, by maintaining multiple valid derivations for a single input. It further supports incremental parsing, allowing input strings to be processed in chunks to provide partial results and real-time feedback. Beyond core parsi

The YAML Language Server is a backend service that provides intelligent editing support for YAML files by implementing the Language Server Protocol. It functions as a validation and analysis engine, enabling code editors to offer real-time diagnostics, structural feedback, and automated assistance for configuration-heavy development workflows. The project distinguishes itself through its schema-driven approach to data integrity, utilizing a JSON Schema validation engine to verify document structure against formal definitions. It supports complex configuration management by allowing developers