4 مستودعات
Awesome GitHub RepositoriesSource Code Tokenizers
Lexical analyzers that break raw source code into a sequence of discrete tokens.
Distinct from Lexical Tokenizers: A general implementation for Go source code, whereas the sibling is specific to JavaScript.
Explore 4 awesome GitHub repositories matching programming languages & runtimes · Source Code Tokenizers. Refine with filters or upvote what's useful.
Awesome Source Code Tokenizers GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- chai2010/go-ast-book
chai2010/go-ast-book
5,510عرض على GitHubgo-ast-book is a collection of educational and technical resources focused on abstract syntax tree analysis, compiler development, and static code verification. It provides guides and manuals for parsing, traversing, and analyzing Go source code to extract semantic meaning. The project serves as a reference for building compiler frontends, covering the translation of high-level code into intermediate representations and single static assignment forms. It also provides instructions for using these techniques to develop language tooling and perform static code analysis. The resources cover a b
Breaks down source code into identifiers and operators to prepare text for structural analysis.
Go - theseer/tokenizer
theseer/tokenizer
5,194عرض على GitHubهذه المكتبة عبارة عن أداة لتحليل كود مصدر PHP والتحليل الساكن تقوم بتحويل كود PHP الخام إلى رموز منفصلة وتمثيلات XML منظمة. تعمل كمسلسل (serializer) يحول تدفقات الرموز إلى تنسيق قابل للقراءة آلياً للتحليل البرمجي ومعالجة شجرة المصدر. يستخدم المشروع تسلسل XML القائم على التدفق وكتابة المخزن المؤقت القائم على الأجزاء للحفاظ على استهلاك منخفض للذاكرة عند معالجة الملفات الكبيرة. يسمح بتكوين مساحة اسم XML مخصصة لضمان توافق المخطط وتجنب تصادم الأسماء أثناء عملية التحويل. تغطي مجموعة الأدوات التحليل المعجمي وتحويل الكود المصدري إلى XML منظم لدعم سير عمل تحليل الكود الساكن. تعالج تدفقات الرموز في تمريرة واحدة لتنظيم قوائم المصدر المسطحة في هيكل XML هرمي.
Converts PHP source code into discrete tokens to enable programmatic analysis and processing.
PHPphptokenizerxml - salesforce/codegen
salesforce/CodeGen
5,175عرض على GitHubCodeGen هو نموذج لغوي كبير مدرب ونموذج لتوليف البرامج مصمم لإنشاء كود مصدري وظيفي. يستخدم بنية شبكة عصبية لتوليف كود قابل للتنفيذ من أوصاف اللغة الطبيعية أو مقتطفات الكود الجزئية. يتيح النموذج توليف البرامج الآلي والترميز بمساعدة الذكاء الاصطناعي من خلال التنبؤ وملء الأقسام المفقودة من الكود داخل البرنامج. يحول أوصاف اللغة الطبيعية إلى منطق برمجي وظيفي لأتمتة إنشاء الكود النموذجي والمنطق.
Converts source code into numerical representations using a specialized vocabulary optimized for programming language syntax.
Python - gitbookio/javascript
GitbookIO/javascript
3,693عرض على GitHubThis project is an interactive JavaScript course and beginner programming guide designed to teach fundamental scripting logic and language syntax. It functions as a web-based coding tutorial that transforms markdown-based lessons into a static site curriculum for learning web development basics. The resource features a browser-based code sandbox that allows for the execution of JavaScript snippets within a secure environment for immediate feedback. Lessons are organized into a linear sequence of modules to provide a structured onboarding process for those new to software development. The sys
Uses lexical analysis to tokenize JavaScript source code for the purpose of applying syntax highlighting.
javascriptlearn-to-codelearning
