Awesome GitHub RepositoriesLexical Tokenizers

PHP-Parser is a tool that converts PHP source code into an abstract syntax tree for static analysis and programmatic manipulation. It functions as a parser, a code generator, and a static analysis framework. The project enables the programmatic construction of abstract syntax tree nodes through a fluent interface and provides the ability to transform these trees back into formatted source code. It includes a serializer that exports abstract syntax trees to JSON format and reconstructs them from strings. The toolset covers several capability areas, including namespace resolution, constant exp

CoffeeScript is a source-to-source transpiler that transforms a concise high-level syntax into standard JavaScript. It enables the development of logic for web applications and server-side environments by converting source code into a format compatible with browsers and server runtimes. The project provides a workflow for rapid prototyping and script execution automation, allowing users to run source files through a compiler and execute the resulting code immediately without a manual build step. The tooling leverages lexical analysis and abstract syntax tree transformations to manipulate cod

Acorn is a JavaScript parser that converts source text into a structured abstract syntax tree. It follows the ESTree specification to produce a standardized JSON tree format, enabling consistent analysis of code structure and language versions. The project features a plugin-based grammar extension system that allows the base parser to be extended with custom rules for experimental or non-standard language features. It also includes syntax error recovery, which inserts placeholder nodes into the tree when encountering invalid code to allow parsing to continue. The toolset covers static analys

This project is a regular expression lexer library and lexical analysis engine used to break input strings into typed token streams. It serves as a foundational component for constructing compilers or interpreters by identifying and categorizing substrings into discrete tokens. The library provides a token stream navigator featuring a cursor-based interface. This allows for sequential traversal of tokenized input and non-destructive lookahead, enabling the inspection of future tokens without advancing the internal position pointer. It includes specific support for recursive descent parsing t

PHP_CodeSniffer is a static analysis tool, coding standard linter, and command-line validator for PHP. It scans files and directories to detect and report formatting errors and language-specific coding violations without executing the code. The project functions as an automated code formatter capable of correcting detected style and formatting violations to bring source code into compliance with defined standards. It uses token-based lexical analysis to match code patterns against rule sets, ensuring consistency across a codebase. The tool provides comprehensive capabilities for recursive fi

Esprima एक JavaScript पार्सर है जो सोर्स कोड को एक संरचित एब्सट्रैक्ट सिंटैक्स ट्री (AST) में परिवर्तित करता है। यह ECMAScript मानकों के अनुपालन को सुनिश्चित करने के लिए एक विनिर्देश-संचालित व्याकरण लागू करता है, जो JavaScript प्रोग्रामों के प्रोग्रामेटिक विश्लेषण और परिवर्तन को सक्षम बनाता है। यह प्रोजेक्ट सोर्स कोड को अलग-अलग प्रतीकों में तोड़ने के लिए लेक्सिकल टोकनाइज़ेशन और कोड को निष्पादित किए बिना स्क्रिप्ट्स के सही ढंग से बनने की पुष्टि करने के लिए स्टेटिक सिंटैक्स वैलिडेशन की क्षमताएं प्रदान करता है। इसकी कार्यात्मक सतह JavaScript स्टेटिक विश्लेषण, लेक्सिकल विश्लेषण और एब्सट्रैक्ट सिंटैक्स ट्री के निर्माण को कवर करती है।

Cppcheck C और C++ सोर्स कोड के लिए एक स्टेटिक एनालिसिस टूल और लिंटर है जिसे प्रोग्राम को निष्पादित किए बिना प्रोग्रामिंग त्रुटियों, मेमोरी लीक और सुरक्षा उल्लंघनों का पता लगाने के लिए डिज़ाइन किया गया है। यह प्रोग्राम में समवर्ती मुद्दों, टाइप कास्ट त्रुटियों और सुरक्षित कोडिंग मानकों के अनुपालन की पहचान करने के लिए एक बग डिटेक्शन इंजन और गुणवत्ता आश्वासन टूल के रूप में कार्य करता है। यह प्रोजेक्ट फ़ाइलों का चयन करने और त्रुटियों की समीक्षा करने के लिए एक ग्राफिकल यूज़र इंटरफेस प्रदान करता है, साथ ही नामकरण सम्मेलनों और कोडिंग मानकों को लागू करने के लिए एक लिंटर भी प्रदान करता है। यह विशिष्ट कोडिंग पैटर्न की पहचान करने के लिए रेगुलर एक्सप्रेशन का उपयोग करके कस्टम विश्लेषण नियमों के निर्माण का समर्थन करता है। टूल में बड़े कोडबेस को प्रबंधित करने के लिए इंक्रीमेंटल एनालिसिस, चेतावनी दमन (warning suppression) और फ़ाइल बहिष्करण की क्षमताएं शामिल हैं। इसमें HTML रिपोर्ट जनरेशन और विकास के दौरान त्रुटि पहचान प्रदान करने के लिए VS Code जैसे एडिटर्स के साथ एकीकरण भी शामिल है।

The Rust RFCs repository is the formal home for the Rust language evolution process, housing the structured design documents and community review mechanisms that govern changes to the Rust programming language, its compiler, and its standard library. It defines the complete lifecycle for proposing, discussing, and implementing substantial changes through RFC documents, from initial submission and community feedback through final comment periods and sub-team sign-offs. The repository codifies the governance and collaboration processes that shape Rust's development, including mechanisms for com

यह लाइब्रेरी एक PHP सोर्स कोड टोकेनाइज़र और स्टेटिक विश्लेषण टूल है जो कच्चे PHP कोड को अलग-अलग टोकन और संरचित XML अभ्यावेदन में परिवर्तित करती है। यह एक सीरियलाइज़र के रूप में कार्य करता है जो प्रोग्रामेटिक विश्लेषण और सोर्स ट्री हेरफेर के लिए टोकन स्ट्रीम को मशीन-पठनीय प्रारूप में बदलता है। यह प्रोजेक्ट बड़ी फ़ाइलों को संसाधित करते समय कम मेमोरी ओवरहेड बनाए रखने के लिए स्ट्रीम-आधारित XML सीरियलाइज़ेशन और फ्रैगमेंट-आधारित बफ़र राइटिंग का उपयोग करता है। यह स्कीमा संगतता सुनिश्चित करने और परिवर्तन प्रक्रिया के दौरान नामकरण टकराव से बचने के लिए कस्टम XML नेमस्पेस कॉन्फ़िगरेशन की अनुमति देता है। टूलकिट लेक्सिकल विश्लेषण और स्टेटिक कोड विश्लेषण वर्कफ़्लो का समर्थन करने के लिए सोर्स कोड को संरचित XML में बदलने को कवर करती है। यह फ्लैट सोर्स सूचियों को पदानुक्रमित XML संरचना में व्यवस्थित करने के लिए टोकन स्ट्रीम को एक ही पास में संसाधित करती है।

This project is a C language interpreter and a practical implementation of a programming language. It parses and executes C source code directly, removing the requirement for a separate compilation step. The interpreter is designed for self-hosting, meaning it is capable of interpreting its own source code to demonstrate recursive language processing and execution. The system covers the primary stages of language processing, including lexical analysis, recursive descent parsing, and tree-walk interpretation using an abstract syntax tree. It manages memory and scope through a dynamic symbol t

Bhai-lang एक TypeScript-आधारित टॉय प्रोग्रामिंग भाषा और कस्टम सिंटैक्स इंटरप्रेटर है। यह वेरिएबल मैनेजमेंट, कंडीशनल लॉजिक और निष्पादन प्रवाह (execution flow) की मुख्य अवधारणाओं को प्रदर्शित करने के लिए डिज़ाइन किया गया एक शैक्षिक भाषा इम्प्लीमेंटेशन है। यह प्रोजेक्ट स्क्रिप्ट लिखने और परीक्षण करने के लिए एक कस्टम कमांड लाइन इंटरफ़ेस और एक इंटरैक्टिव कोड प्लेग्राउंड प्रदान करता है। यह प्रोग्रामिंग भाषा प्रोटोटाइपिंग के लिए एक फ्रेमवर्क के रूप में कार्य करता है, जो कस्टम सिंटैक्स और निष्पादन लॉजिक को परिभाषित करने की अनुमति देता है। यह सिस्टम लेक्सिकल एनालिसिस, रिकर्सिव डिसेंट पार्सिंग और एब्स्ट्रैक्ट सिंटैक्स ट्री ट्रैवर्सल सहित पूर्ण इंटरप्रेटर पाइपलाइन को कवर करता है। इसका रनटाइम प्रिमिटिव डेटा प्रकारों के माध्यम से प्रोग्राम स्टेट को प्रबंधित करता है और मानक कंट्रोल फ्लो और कंसोल आउटपुट को लागू करता है।

यह प्रोजेक्ट एक तकनीकी संदर्भ और Go भाषा रनटाइम व कंपाइलर पर केंद्रित आंतरिक विश्लेषण नोट्स का एक संग्रह है। यह मेमोरी मैनेजमेंट, गारबेज कलेक्शन और शेड्यूलर के निष्पादन मॉडल को कवर करते हुए, भाषा के आंतरिक विवरणों का विस्तृत विवरण प्रदान करता है। यह सामग्री Go असेंबली निर्देशों, रजिस्टर उपयोग और सिस्टम कॉल इंटरफेसिंग के लिए एक संदर्भ सहित निम्न-स्तरीय सिस्टम विवरणों में गहराई से जाकर खुद को अलग करती है। यह विशेष रूप से कॉनकरेंसी प्रिमिटिव्स के आंतरिक कार्यान्वयन का विश्लेषण करती है, जैसे कि गोरूटीन शेड्यूलिंग मैकेनिज्म, चैनल ऑपरेशन्स और म्यूटेक्स लॉक कार्यान्वयन। कवरेज कंपाइलर निर्माण सिद्धांत तक फैली हुई है, जिसमें लेक्सिकल और सिंटैक्टिक विश्लेषण, साथ ही टाइप सिस्टम और इंटरफेस मैनेजमेंट के मैकेनिक्स शामिल हैं। यह विभिन्न परफॉरमेंस ऑप्टिमाइज़ेशन तकनीकों, स्टैक ट्रेसिंग के लिए रनटाइम डायग्नोस्टिक यूटिलिटीज और नेटवर्क I/O प्रिमिटिव्स का भी विवरण देती है।

swift-syntax is a library for parsing, manipulating, and generating Swift source code. It provides a source-accurate abstract syntax tree representation of Swift code, acting as a parser, transformer, and code generator. The project serves as the infrastructure for Swift macro development, enabling the expansion and transformation of source code during compilation. It is used to build compiler tooling for static analysis, formatting, and automated refactoring. The system covers a broad range of source analysis capabilities, including the ability to convert source code into structured trees f