Awesome GitHub RepositoriesAutoregressive Text Generation

This project is a transformer-based language model and autoregressive text generator designed to predict the next token in a sequence to produce human-like prose and synthetic text. It functions as a large language model that utilizes a transformer architecture to learn linguistic patterns from large datasets for unsupervised multitask learning. The repository provides a distribution of pre-trained weights, enabling natural language processing tasks without requiring additional training. This allows the model to perform zero-shot task generalization by applying learned patterns to new tasks.

Qwen2.5-VL هو محول متعدد الوسائط ذاتي الانحدار مصمم لمعالجة تسلسلات متداخلة من الرموز النصية والمرئية. يدمج تضمينات الميزات المرئية في مساحة نموذج لغوي مشترك لإجراء استدلال متعدد الوسائط وتوليد استجابات متماسكة أو كود تخطيط مهيكل. يتميز المشروع برسم خرائط الرؤية-اللغة-العمل، مما يسمح له بإدراك الواجهات المرئية وترجمة هذا الإدراك إلى أوامر قابلة للتنفيذ لتشغيل الشاشات الرقمية وأجهزة الروبوت. يستخدم ترميز الصور بدقة ديناميكية وفهرسة الفيديو ذات الإطارات الزمنية للتعامل مع أحجام الصور المتنوعة وتسلسلات الفيديو طويلة المدة. يغطي النموذج نطاقاً واسعاً من القدرات، بما في ذلك التعرف الضوئي على الحروف متعدد اللغات لرقمنة المستندات، والتأريض المكاني لتحديد موقع الكائنات عبر مربعات الإحاطة، وتحليل محتوى الفيديو طويل الشكل. كما يدعم الاستدلال الرياضي متعدد الوسائط لحل المشكلات باستخدام المخططات والرسوم البيانية، ويمتد فهمه إلى طول سياق يبلغ مليون رمز.

Transformers.js is a JavaScript library and web machine learning framework designed to run pretrained transformer models directly in the browser. It serves as a client-side inference engine and a wrapper for the ONNX Runtime, enabling the execution of multimodal AI tasks on user devices without the need for a backend server. The library distinguishes itself by providing a unified toolkit for processing text, image, and audio data locally. This architecture supports privacy-preserving model inference and reduces latency by performing all computations on the client's hardware. Its capabilities

This project is a large language model and general purpose natural language processing engine designed for text generation and linguistic analysis. It functions as a few-shot learning framework capable of solving diverse reasoning and language tasks using a small number of provided examples without requiring additional training. The system specializes in generating human-like synthetic text and long-form content, including news articles. It also provides capabilities for automated text reasoning to solve logic and arithmetic problems through direct interaction. The project includes tools for

Mistral Inference is a library for running Mistral large language models on a GPU, generating text from prompts with token streaming. It loads pretrained model weights from local disk or a remote registry into GPU memory, then produces output tokens one by one for real-time display in interactive applications. The library supports multimodal prompts that accept image URLs alongside text, enabling visual description and reasoning. It includes content safety guardrails that scan generated text against predefined policies to block or flag policy violations. For structured interactions, it provid

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a comprehensive machine learning interview guide and technical study resource designed for individuals preparing for machine learning and AI engineering roles. It provides a collection of materials and practice problems covering core algorithms, theoretical fundamentals, and the implementation of neural network architectures. The resource serves as a technical reference for generative AI development, focusing on the design and optimization of large language models and diffusion systems. It includes frameworks for system design, covering the architecture of production machine l

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

GLM-130B is a pre-trained foundation model and bilingual large language model designed for natural language processing tasks in both English and Chinese. It functions as an autoregressive language model and text generator capable of producing long-form content and predicting missing phrases. The model utilizes an autoregressive blank-filling architecture and a bidirectional dense transformer to process text. This approach allows the system to transition between understanding context through masked language modeling and generating sequential text using specific mask tokens. The project covers

CodeGeeX2 is a large language model and AI programming assistant designed to generate, translate, and document source code across multiple programming languages. It functions as a multilingual code model that converts natural language prompts into executable code and technical documentation. The project provides a self-hosted AI inference endpoint, allowing the model to be exposed as a web-accessible service. This enables external development tools to integrate automated programming tasks via network calls. Its core capabilities cover multilingual code generation, automated source code docum

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

DeepSeek-LLM is a large language model and causal language model designed for natural language generation. It functions as a multi-lingual system capable of predicting the next token in a sequence to perform text completion and conversational generation. The model is specialized for logical reasoning, specifically as a code and math LLM. This enables it to perform complex problem solving, which includes generating executable code and solving mathematical equations through step-by-step analysis. The system's broader capabilities cover conversational AI, including the generation of chat comple

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Tensorpack هو إطار عمل شبكة عصبية TensorFlow عالي المستوى ومكتبة بحثية مصممة لبناء وتدريب نماذج التعلم العميق. يوفر مجموعة من بنيات الشبكات العصبية القابلة للتكرار للرؤية الحاسوبية، والمهام التوليدية، والتعلم التعزيزي، ومعالجة اللغات الطبيعية. يتميز المشروع بخط معالجة بيانات تعلم عميق متخصص يستخدم Python الخالص لتحميل البيانات المتوازي والبث. ويتضمن منسق تدريب متعدد وحدات GPU لتوزيع أعباء العمل عبر استراتيجيات موازية للبيانات ومجموعة أدوات قابلية تفسير مخصصة لتصور خرائط بروز وتنشيط النموذج. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك خطوط معالجة الرؤية الحاسوبية لاكتشاف الكائنات والتجزئة الدلالية، ونمذجة التسلسل للكلام والنص، وتطوير وكيل التعلم التعزيزي. كما يوفر أدوات تحسين النموذج لتكميم الأوزان والتدريب منخفض البت، إلى جانب مرافق لإعادة إنتاج الأوراق البحثية الأكاديمية وتحويل أوزان نموذج Caffe القديمة.

Lit-llama هو إطار عمل تنفيذ يعتمد على PyTorch لنموذج اللغة LLaMA، ويوفر نظاماً للتدريب المسبق، والضبط الدقيق، والاستدلال عالي الأداء. يتضمن خط أنابيب تدريب مسبق لإنشاء نماذج لغوية أساسية من الصفر وأدوات لتشغيل الأوزان المدربة مسبقاً لتوليد نص طبيعي والتنبؤ بالتسلسلات. يوفر المشروع مجموعات أدوات متخصصة للضبط الدقيق الفعال للمعلمات باستخدام التكيف منخفض الرتبة (LoRA) والمحولات خفيفة الوزن. كما يتضمن مكتبة تكميم (quantization) تقلل من بصمات ذاكرة النموذج من خلال دقة 4 بت و8 بت لتمكين التنفيذ على الأجهزة ذات الموارد المحدودة. يدمج إطار العمل تصميم محول مبسط ويوظف انتباه الفلاش (flash attention) لتحسين الذاكرة والسرعة. كما يدير مجموعات بيانات واسعة النطاق من خلال تنسيقات بيانات البث لتجنب تحميل مجموعات النصوص الكاملة في ذاكرة النظام.

x-transformers هي مكتبة PyTorch ومجموعة أدوات بحثية لبناء معماريات المحولات (transformers). توفر إطار عمل معيارياً لتنفيذ أبحاث المحولات التجريبية، بما في ذلك مجموعة من آليات الانتباه المتقدمة، وأدوات نمذجة التسلسلات الطويلة، وإطار عمل لمحولات الرؤية. يتميز المشروع بتركيزه على المكونات عالية الأداء والموفرة للذاكرة، مثل Flash Attention مع النوى المبلطة وانتباه الاستعلام المتعدد. كما ينفذ طرقاً متخصصة لتوسيع نوافذ السياق، بما في ذلك تكرار التسلسل وتضمينات الموضع الدورانية. تغطي المكتبة مجموعة واسعة من القدرات المعمارية، بما في ذلك مخططات تطبيع متنوعة لتحقيق استقرار التدريب، وشبكات التغذية الأمامية المبوّبة، وطوبولوجيا الطبقات المخصصة مثل شبكات Macaron. تدعم كلاً من إنشاءات المشفر وفك التشفير، وتوفر أدوات لتوليد التسلسل التلقائي ومهام الرؤية واللغة مثل وصف الصور.

هذا المشروع عبارة عن مورد تعليمي شامل لتعلم الآلة وسلسلة دروس مقدمة كمجموعة من دفاتر Jupyter التفاعلية. يوفر تطبيقات عملية بلغة Python لدورة حياة تعلم الآلة بالكامل، مغطياً التعلم الخاضع للإشراف وغير الخاضع للإشراف، والتعلم العميق، والتعلم التعزيزي. يتميز المورد بتقديم أدلة تنفيذ مفصلة لمعماريات معقدة، بما في ذلك المحولات (transformers)، والشبكات التنافسية التوليدية (GANs)، والشبكات العصبية التلافيفية (CNNs). كما يتضمن دورات متخصصة لتطوير وكلاء التعلم التعزيزي باستخدام Q-learning وDeep Q-Networks داخل بيئات محاكاة. يغطي المحتوى نطاقاً واسعاً من قدرات علم البيانات، بما في ذلك خطوط أنابيب هندسة البيانات، وترميز الميزات، وتقليل الأبعاد. كما يوفر مواد مكثفة حول تقييم النماذج من خلال التحقق المتقاطع والمقاييس التشخيصية، بالإضافة إلى مواضيع متقدمة مثل معالجة اللغات الطبيعية، وتحليل المشاعر، والذكاء الاصطناعي التوليدي. تم تصميم المنهج بالكامل للتنفيذ التفاعلي داخل دفاتر Jupyter، حيث يجمع بين الكود القابل للتنفيذ والنصوص الغنية والمرئيات.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

Practical PyTorch هي مجموعة من دروس وأدلة التعلم العميق التي تركز على تنفيذ الشبكات العصبية المتكررة. يوفر المشروع كوداً عملياً لبناء نماذج التسلسل وبنيات التسلسل إلى التسلسل باستخدام إطار عمل PyTorch. يغطي المستودع تنفيذ نماذج للترجمة الآلية العصبية، وتوليد النصوص على مستوى الحرف، وتصنيف النصوص. يتضمن أمثلة لتحويل تسلسلات الإدخال إلى تسلسلات إخراج للترجمة الآلية وتوليف نصوص جديدة. يمتد المشروع أيضاً إلى التنبؤ ببيانات التسلسل وتحليل السلاسل الزمنية، مما يوفر طرقاً للتنبؤ بالأحداث المستقبلية بناءً على الأنماط التسلسلية التاريخية.