1 repository
Awesome GitHub RepositoriesToken Serialization
Transformation of raw lexical tokens into a standardized external format.
Distinct from PHP Code Analysis: Focuses on serializing raw tokens to XML for external tools, whereas the parent covers general PHP structural analysis.
Explore 1 awesome GitHub repository matching programming languages & runtimes · Token Serialization. Refine with filters or upvote what's useful.
Awesome Token Serialization GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- theseer/tokenizer
theseer/tokenizer
5,194Vezi pe GitHubAceastă bibliotecă este un tokenizer de cod sursă PHP și un instrument de analiză statică ce convertește codul PHP brut în token-uri discrete și reprezentări XML structurate. Funcționează ca un serializator care transformă fluxurile de token-uri într-un format lizibil de către mașină pentru analiză programatică și manipularea arborelui sursă. Proiectul utilizează serializarea XML bazată pe flux și scrierea buffer-ului bazată pe fragmente pentru a menține un consum redus de memorie la procesarea fișierelor mari. Permite configurarea personalizată a namespace-urilor XML pentru a asigura compatibilitatea schemei și a evita coliziunile de nume în timpul procesului de transformare. Toolkit-ul acoperă analiza lexicală și conversia codului sursă în XML structurat pentru a susține fluxurile de lucru de analiză statică a codului. Procesează fluxurile de token-uri într-o singură trecere pentru a organiza listele sursă plate într-o structură XML ierarhică.
Transforms raw PHP tokens into a standardized XML format to preserve code structure for external processing tools.
PHPphptokenizerxml
