Awesome GitHub RepositoriesTraining Dataset Processing

This repository is a collection of Jupyter notebooks providing reference implementations and templates for building, training, and deploying machine learning models using Amazon SageMaker. It serves as an example library for implementing model architectures and automating the machine learning lifecycle. The library provides practical patterns for machine learning training, data engineering, and model deployment. It includes implementation guides for MLOps, including workflows for model monitoring, lineage tracking, and hyperparameter tuning. The examples cover a broad range of capabilities i

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

This project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili

Feast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr

MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

هذا المشروع عبارة عن سلسلة دروس للتعلم العميق ومنهج تعليمي مصمم لتدريس أساسيات PyTorch. يعمل كدليل تدريب مهيكل لإتقان بنية الشبكة العصبية، والتمايز التلقائي، واستخدام الموترات ورسوم الحساب الديناميكية. يركز المنهج على التطبيقات العملية، وتحديداً توجيه تطوير أنظمة التوصية، ونماذج الإعلانات، وشبكات الاهتمام للتنبؤ بتفضيلات المستخدم. كما يوفر محتوى تعليمياً للتنبؤ بالسلاسل الزمنية ومعالجة البيانات المتسلسلة. تغطي المادة مجموعة واسعة من قدرات التعلم العميق، بما في ذلك بناء نماذج لتصنيف الصور والنصوص بالإضافة إلى البيانات المهيكلة. تدمج سير عمل لتسريع GPU، وتصور مقاييس التدريب، وإنشاء واجهات قائمة على الويب لاختبار تنبؤات النموذج. يتم تقديم المشروع كمجموعة من دفاتر Jupyter.

River هو إطار عمل Python للتعلم الآلي عبر الإنترنت، مصمم لتدريب وتقييم النماذج على بيانات البث. يتيح التعلم التزايدي عن طريق تحديث معلمات النموذج بملاحظة واحدة في كل مرة، مما يلغي الحاجة إلى تخزين مجموعات بيانات التدريب الكاملة في الذاكرة. تتميز المكتبة بنظام مخصص للكشف عن انحراف المفهوم (concept drift) الذي يراقب التغييرات في توزيعات البيانات لتحفيز تكيف النموذج. كما توفر إطار عمل للتحقق التدريجي يحاكي النشر في الوقت الفعلي عن طريق اختبار النماذج على عينات قبل استخدامها للتدريب. يغطي النظام مجموعة واسعة من إمكانات البث، بما في ذلك هندسة الميزات في الوقت الفعلي، والتنبؤ بالسلاسل الزمنية، واكتشاف الشذوذ عبر الإنترنت. ويدعم التعلم غير الخاضع للإشراف من خلال التجميع التزايدي وأشجار القرار، بالإضافة إلى تجميع النماذج وسياسات bandit لاختيار النموذج. يتضمن المشروع أدوات لاستيعاب بيانات البث من مصادر مثل ملفات CSV و APIs، بالإضافة إلى أدوات لحساب الإحصائيات الجارية ومخططات البيانات الموفرة للذاكرة.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

هذا المشروع عبارة عن إطار عمل للمواءمة ومجموعة من خطوط المعالجة لتدريب النماذج اللغوية باستخدام الضبط الدقيق الخاضع للإشراف (supervised fine-tuning) وتحسين التفضيلات. يوفر أدوات لتنفيذ التدريب الموزع واسع النطاق عبر وحدات معالجة رسومية (GPUs) وعقد حوسبة متعددة، إلى جانب نظام لقياس مدى فائدة النموذج وجودة الحوار من خلال معايير قياس أحادية ومتعددة الجولات. يتضمن إطار العمل أدوات متخصصة لتحسين التفضيلات المباشر (DPO) لتنقية سلوك النموذج باستخدام بيانات مقترنة دون الحاجة إلى نموذج مكافأة منفصل. كما يدعم المواءمة الدستورية للذكاء الاصطناعي وتدريب نماذج المكافآت لترتيب وتقييم الاستجابات بناءً على معايير التفضيل. يغطي المشروع قدرات أوسع لدمج وخلط مجموعات البيانات، والضبط الدقيق الفعال للمعلمات عبر التكيف منخفض الرتبة (LoRA)، وتحسين أخذ عينات الرفض. يدير دورة حياة التدريب من خلال وصفات تعتمد على الإعدادات، ويوفر أنظمة لبث مقاييس الأداء في الوقت الفعلي إلى لوحات تحكم خارجية.

PCDet هو صندوق أدوات لاكتشاف الكائنات ثلاثية الأبعاد باستخدام LiDAR ومكتبة لمعالجة سحابة النقاط مبنية على إطار عمل التعلم العميق PyTorch. يوفر نظاماً لتحديد وتحديد مواقع الكائنات ثلاثية الأبعاد داخل بيانات سحابة النقاط. يستخدم المشروع نمط فصل البيانات عن النموذج لفك اقتران منطق تحميل مجموعة البيانات عن خط أنابيب الاكتشاف الأساسي. يتميز بخط أنابيب لدمج أجهزة استشعار متعددة يجمع البيانات من مصادر مختلفة في عرض مكاني مشترك، ونظام تدريب موزع على GPU لتوسيع نطاق أحمال العمل عبر معالجات رسومية متعددة. تغطي مجموعة الأدوات العديد من مجالات القدرات، بما في ذلك استخراج الميزات القائم على الفوكسل (voxel-based) وتحليل سحابة النقاط الزمني من خلال دمج إطارات متعددة. كما يتضمن تحسينات للأداء لتقاطع الاتحاد ثلاثي الأبعاد المسرع بواسطة GPU وقمع الحد الأقصى غير الدوار.

MuseTalk is a deep learning lip synchronization system designed to align video facial movements with audio tracks for high-fidelity video dubbing. It functions as an engine that matches facial expressions to audio input in real-time, enabling the modification of a speaker's lip movements to match new audio sources across different languages. The project features a distributed GPU training pipeline and a multi-stage processing workflow for refining the visual accuracy of synthetic speech. It distinguishes itself through the use of region-specific face masking and mouth openness control, which

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

xtuner هو محرك تدريب شامل للنماذج اللغوية الكبيرة، يقدم مجموعة أدوات للتدريب المسبق، والضبط الدقيق الخاضع للإشراف، وتحسين النماذج متعددة الوسائط للرؤية واللغة. يعمل كمسرع تدريب موزع وإطار عمل متخصص لتوسيع نطاق نماذج خليط الخبراء (Mixture-of-Experts) ومواءمة سلوك النموذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية. يتميز المشروع بتحسينات متقدمة للذاكرة والحوسبة، مثل توازي التسلسل لنوافذ السياق الطويلة جداً وتوازي خط الأنابيب المتداخل لتقليل وقت خمول GPU. يوفر مجموعة مخصصة لتحسين التفضيلات، وتنفيذ تقنيات مثل تحسين السياسة النسبية للمجموعة وتحسين التفضيل المباشر لتحسين سياسات النموذج وأنظمة المكافآت. تغطي مجالات الإمكانيات الواسعة تدريب النماذج الموزعة عبر عقد متعددة، وإعداد مجموعات البيانات متعددة الوسائط، وإدارة الضبط الدقيق القائم على المحولات. يتضمن المحرك أيضاً أدوات لتقييم النموذج، ودمج الأوزان، وتصدير المعلمات المدربة إلى محركات الاستنتاج. تتم إدارة التدريب عبر ملفات تكوين موحدة ومشغلات موزعة لضمان نتائج متسقة عبر مجموعات الحوسبة.

هذا المشروع هو إطار عمل لنقل الأنماط العصبية يوفر مجموعة من أدوات الرؤية الحاسوبية لتطبيق الأنماط الفنية على الصور والفيديو. يعمل كنظام لتدريب الشبكات العصبية التغذوية، ومحسن أنماط تكراري، ومحول أنماط فيديو في الوقت الفعلي. يدعم إطار العمل طريقتين أساسيتين للتنميط: نموذج تغذوي يطبق الأنماط في تمريرة واحدة، وطريقة تحسين تكرارية تولد صوراً منمقة عن طريق تقليل فقدان المحتوى والنمط بدون نموذج مدرب مسبقاً. كما يتيح المعالجة في الوقت الفعلي لخلاصات كاميرا الويب الحية باستخدام نماذج مدربة. يغطي المشروع عدة مجالات قدرات، بما في ذلك معالجة الصور الفنية، وتدريب نماذج نقل الأنماط من خلال تقليل الفقد الإدراكي، وأدوات إعداد مجموعات البيانات لتنسيق مجلدات الصور في مجموعات تدريب متوافقة.

هذا المشروع عبارة عن برنامج تعليمي ومورد أكاديمي للتعلم العميق باستخدام PyTorch. يوفر منهجاً مهيكلاً وأدلة خطوة بخطوة لتصميم وتدريب والتحقق من صحة الشبكات العصبية من الصفر. يتضمن المورد أدلة محددة حول تنفيذ رؤية الحاسوب، مع التركيز على اكتشاف الكائنات وتصنيف الصور باستخدام الشبكات العصبية التلافيفية (CNN). كما يوفر تعليمات لتحسين أداء النموذج من خلال تسريع العتاد لتقليل وقت التدريب. تغطي المواد دورة حياة تطوير النموذج بالكامل، بما في ذلك عمليات التنسور (Tensor operations)، وإعداد مجموعات بيانات الصور، واستخدام دوال الخسارة والمحسنات. كما يتناول إدارة دورة حياة النموذج من خلال حفظ وإعادة تحميل الأوزان المدربة.

يوفر هذا المشروع مجموعة من مجموعات البيانات المحادثية الصينية المعالجة وسير عمل المعالجة المسبقة المصممة لتدريب وضبط تعليمات نماذج اللغة الكبيرة (LLM). يعمل كمدونة تدريب (Corpus) لنصوص صينية نظيفة وموحدة منسقة كأزواج استعلام-إجابة. يتضمن المستودع خط معالجة مسبقة ومجمع بيانات يدمج مصادر محادثة عامة متعددة في ملفات موحدة. تقوم هذه الأدوات بتطبيع النص عن طريق تحويل الأحرف الصينية التقليدية إلى أحرف مبسطة وتحويل خيوط الحوار المعقدة إلى تسلسل موحد من المنعطفات الفردية. يتم تصدير البيانات الناتجة كملفات قيم مفصولة بعلامات جدولة (TSV) مستقلة، مما يضمن مخططاً متسقاً عبر المصادر المتباينة. يركز سير العمل الهندسي هذا على إزالة تناقضات التنسيق لإعداد بيانات المحادثة الخام لمهام تعلم الآلة.

This project is a deep learning educational course and implementation guide designed for building and training neural networks. It provides a curriculum for developing models that solve pattern recognition and generative tasks. The material includes specialized modules for computer vision training, natural language processing, and generative AI. It covers the practical application of transfer learning to classify new data and the creation of synthetic media. The project encompasses the design of network architectures, the construction of machine learning data pipelines, and the use of model