1 repositorio
Awesome GitHub RepositoriesLexical Tokenizers
Components that break JavaScript source code into individual tokens for further parsing.
Distinct from JavaScript Source Parsers: Focuses specifically on the lexical tokenization phase rather than the full parsing of source into structured data.
Explore 1 awesome GitHub repository matching programming languages & runtimes · Lexical Tokenizers. Refine with filters or upvote what's useful.
Awesome Lexical Tokenizers GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- jquery/esprima
jquery/esprima
7,139Ver en GitHubEsprima es un analizador (parser) de JavaScript que convierte el código fuente en un árbol de sintaxis abstracta estructurado. Implementa una gramática basada en especificaciones para garantizar el cumplimiento de los estándares ECMAScript, permitiendo el análisis y la transformación programática de programas JavaScript. El proyecto proporciona capacidades para la tokenización léxica para dividir el código fuente en símbolos individuales y la validación de sintaxis estática para verificar que los scripts estén bien formados sin ejecutar el código. Su superficie funcional cubre el análisis estático de JavaScript, el análisis léxico y la generación de árboles de sintaxis abstracta.
Provides lexical tokenization to break JavaScript source code into individual symbols.
TypeScript
