4 रिपॉजिटरी
Awesome GitHub RepositoriesSource Code Tokenizers
Lexical analyzers that break raw source code into a sequence of discrete tokens.
Distinct from Lexical Tokenizers: A general implementation for Go source code, whereas the sibling is specific to JavaScript.
Explore 4 awesome GitHub repositories matching programming languages & runtimes · Source Code Tokenizers. Refine with filters or upvote what's useful.
Awesome Source Code Tokenizers GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- chai2010/go-ast-book
chai2010/go-ast-book
5,510GitHub पर देखेंgo-ast-book एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) विश्लेषण, कंपाइलर डेवलपमेंट और स्टेटिक कोड वेरिफिकेशन पर केंद्रित शैक्षिक और तकनीकी संसाधनों का एक संग्रह है। यह Go सोर्स कोड को पार्स करने, ट्रैवर्स करने और उसका विश्लेषण करके अर्थ निकालने के लिए गाइड और मैनुअल प्रदान करता है। यह प्रोजेक्ट कंपाइलर फ्रंटएंड बनाने के लिए एक संदर्भ के रूप में कार्य करता है, जो हाई-लेवल कोड को इंटरमीडिएट रिप्रेजेंटेशन और सिंगल स्टेटिक असाइनमेंट फ़ॉर्म में अनुवाद करने को कवर करता है। यह भाषा टूलिंग विकसित करने और स्टेटिक कोड विश्लेषण करने के लिए इन तकनीकों का उपयोग करने के निर्देश भी प्रदान करता है। संसाधन लेक्सिकल टोकनाइज़ेशन, एक्सप्रेशन्स और डिक्लेरेशन्स की स्ट्रक्चरल पार्सिंग और सोर्स फ़ाइलों के लिए कोऑर्डिनेट ट्रैकिंग सहित स्टेटिक विश्लेषण क्षमताओं की एक विस्तृत श्रृंखला को कवर करते हैं। यह आइडेंटिफ़ायर रिज़ॉल्यूशन, टाइप करेक्टनेस वेरिफिकेशन और कॉनकरेंसी और डिफ़र्ड एक्ज़ीक्यूशन के लिए कंट्रोल फ़्लो विश्लेषण जैसी सिमेंटिक विश्लेषण प्रक्रियाओं का भी विवरण देता है।
Breaks down source code into identifiers and operators to prepare text for structural analysis.
Go - theseer/tokenizer
theseer/tokenizer
5,194GitHub पर देखेंयह लाइब्रेरी एक PHP सोर्स कोड टोकेनाइज़र और स्टेटिक विश्लेषण टूल है जो कच्चे PHP कोड को अलग-अलग टोकन और संरचित XML अभ्यावेदन में परिवर्तित करती है। यह एक सीरियलाइज़र के रूप में कार्य करता है जो प्रोग्रामेटिक विश्लेषण और सोर्स ट्री हेरफेर के लिए टोकन स्ट्रीम को मशीन-पठनीय प्रारूप में बदलता है। यह प्रोजेक्ट बड़ी फ़ाइलों को संसाधित करते समय कम मेमोरी ओवरहेड बनाए रखने के लिए स्ट्रीम-आधारित XML सीरियलाइज़ेशन और फ्रैगमेंट-आधारित बफ़र राइटिंग का उपयोग करता है। यह स्कीमा संगतता सुनिश्चित करने और परिवर्तन प्रक्रिया के दौरान नामकरण टकराव से बचने के लिए कस्टम XML नेमस्पेस कॉन्फ़िगरेशन की अनुमति देता है। टूलकिट लेक्सिकल विश्लेषण और स्टेटिक कोड विश्लेषण वर्कफ़्लो का समर्थन करने के लिए सोर्स कोड को संरचित XML में बदलने को कवर करती है। यह फ्लैट सोर्स सूचियों को पदानुक्रमित XML संरचना में व्यवस्थित करने के लिए टोकन स्ट्रीम को एक ही पास में संसाधित करती है।
Converts PHP source code into discrete tokens to enable programmatic analysis and processing.
PHPphptokenizerxml - salesforce/codegen
salesforce/CodeGen
5,175GitHub पर देखेंCodeGen is a trained large language model and program synthesis model designed to generate functional source code. It utilizes a neural network architecture to synthesize executable code from natural language descriptions or partial code snippets. The model enables automated program synthesis and AI-assisted coding by predicting and filling in missing sections of code within a program. It transforms natural language descriptions into functional programming logic to automate the creation of boilerplate and logic.
Converts source code into numerical representations using a specialized vocabulary optimized for programming language syntax.
Python - gitbookio/javascript
GitbookIO/javascript
3,693GitHub पर देखेंThis project is an interactive JavaScript course and beginner programming guide designed to teach fundamental scripting logic and language syntax. It functions as a web-based coding tutorial that transforms markdown-based lessons into a static site curriculum for learning web development basics. The resource features a browser-based code sandbox that allows for the execution of JavaScript snippets within a secure environment for immediate feedback. Lessons are organized into a linear sequence of modules to provide a structured onboarding process for those new to software development. The sys
Uses lexical analysis to tokenize JavaScript source code for the purpose of applying syntax highlighting.
javascriptlearn-to-codelearning
