1 dépôt
Awesome GitHub RepositoriesLexical Tokenizers
Components that break JavaScript source code into individual tokens for further parsing.
Distinct from JavaScript Source Parsers: Focuses specifically on the lexical tokenization phase rather than the full parsing of source into structured data.
Explore 1 awesome GitHub repository matching programming languages & runtimes · Lexical Tokenizers. Refine with filters or upvote what's useful.
Awesome Lexical Tokenizers GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- jquery/esprima
jquery/esprima
7,139Voir sur GitHubEsprima est un analyseur JavaScript qui convertit le code source en un arbre de syntaxe abstraite structuré. Il implémente une grammaire basée sur les spécifications pour assurer la conformité aux normes ECMAScript, permettant l'analyse et la transformation programmatiques des programmes JavaScript. Le projet fournit des capacités de tokenisation lexicale pour décomposer le code source en symboles individuels et de validation syntaxique statique pour vérifier que les scripts sont bien formés sans exécuter le code. Sa surface fonctionnelle couvre l'analyse statique JavaScript, l'analyse lexicale et la génération d'arbres de syntaxe abstraite.
Provides lexical tokenization to break JavaScript source code into individual symbols.
TypeScript
