Awesome GitHub RepositoriesBatch Normalization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Fastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza

Tinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f

يوفر هذا المشروع إطار عمل للشبكات العصبية المتبقية العميقة (deep residual network) ونماذج PyTorch مدربة مسبقاً مصممة للتعرف على الصور بدقة عالية. ينفذ بنية شبكة عصبية تستخدم اتصالات التخطي (skip connections) لتمكين تدريب نماذج عميقة جداً دون تدهور التدرج. تم تصميم النظام لمهام الرؤية الحاسوبية، بما في ذلك تصنيف الصور، واكتشاف الكائنات، وتجزئة البيانات المرئية. يتضمن أوزاناً مدربة على ImageNet لدعم التعلم بالنقل (transfer learning) وضبط النماذج على مجموعات بيانات صور مخصصة. يركز التصميم المعماري على كتل التعلم المتبقية، وتكوينات طبقة الاختناق (bottleneck)، وتطبيع الدفعات (batch normalization) للحفاظ على الاستقرار أثناء التدريب. يستخدم إطار العمل أيضاً التجميع المتوسط العالمي (global average pooling) لتقليل المعلمات ومنع الإفراط في التخصيص (overfitting).

هذا المشروع عبارة عن مجموعة من دفاتر Jupyter التعليمية التي تقدم دروساً حول بناء الشبكات العصبية وعمليات المصفوفات (tensors) باستخدام إطار عمل TensorFlow. يعمل كمستودع تعليمي للتعلم الآلي ودليل تنفيذ لطلاب التعلم العميق. تركز المجموعة على بنيات متقدمة محددة، بما في ذلك الشبكات التلافيفية (CNN) لتصنيف الصور، والشبكات المتبقية (residual networks) مع وصلات التخطي لضمان استقرار التدريب، والمشفرات التلقائية المتغيرة (variational autoencoders) للنمذجة التوليدية وتوليف البيانات. كما تتضمن أدلة لبناء المشفرات التلقائية لإزالة الضوضاء والعميقة لاستخراج الميزات وتقليل الأبعاد. يغطي المستودع نطاقاً أوسع من النمذجة التنبؤية، مع تنفيذ الانحدار الخطي ومتعدد الحدود واللوجستي للتنبؤ بالقيم المستمرة والنتائج الثنائية. المحتوى منظم في دفاتر تفاعلية تسمح للمستخدمين بتنفيذ العمليات الرياضية وتعديل تجارب التعلم الآلي.

Composer هو إطار عمل للتدريب الموزع في PyTorch مصمم لتوسيع نطاق النماذج الضخمة عبر مجموعات GPU متعددة العقد. يعمل كمدرب لنماذج اللغات الكبيرة، ومحسن نماذج موزع، ومدير لدورة حياة التدريب. يتميز المشروع كونه مكتبة لتنظيم التعلم العميق (regularization)، حيث يوفر تقنيات تحسين متخصصة مثل Sharpness Aware Minimization وMixUp وCutMix لتحسين تعميم النموذج. كما يميز تدفق التدريب الخاص به باستخدام تسخين طول التسلسل، وتجميد الطبقات التدريجي، وحفظ نقاط التحقق (checkpointing) المجزأة لاستعادة النماذج الضخمة. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تنسيق التدريب الموزع، وإدارة الأجهزة ذات الدقة المختلطة، وبث البيانات السحابي. كما يوفر أدوات مراقبة وتشخيص واسعة النطاق لتشخيص ذاكرة GPU، واكتشاف تباعد التدريب، وتتبع الإنتاجية. يتضمن المشروع مشغلاً عبر سطر الأوامر لأتمتة تنفيذ مهام التدريب متعددة الـ GPU عبر العقد.

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

webgl-fundamentals هو مورد تعليمي شامل ودرس رسومات لتعلم العرض ثنائي وثلاثي الأبعاد المسرع بالأجهزة باستخدام واجهة برمجة تطبيقات WebGL. يعمل كمنهج رسومات ثلاثية الأبعاد منظم ومرجع برمجة GPU، حيث يوجه المستخدمين عبر خط أنابيب الرسومات من الهندسة الأساسية إلى تقنيات العرض المتقدمة. يوفر المشروع أدلة مفصلة حول تطوير تظليل GLSL، بما في ذلك إنشاء تظليل الرؤوس والشظايا. يركز بشكل خاص على تنفيذ نماذج الإضاءة في الوقت الفعلي—مثل الإضاءة الاتجاهية، والنقطية، والموضعية—وتطبيق سير عمل تعيين الظل وتعيين النسيج. يغطي المورد سطحًا واسعًا من قدرات رسومات الكمبيوتر، بما في ذلك الرياضيات المكانية ثلاثية الأبعاد، وتنفيذ نظام الكاميرا للعروض المنظورية والمتعامدة، واستخدام تحويلات المصفوفة. كما يتضمن تعليمات لإجراء حوسبة GPU للأغراض العامة (GPGPU) وتحسين أداء العرض من خلال الرؤوس المفهرسة.

This repository is a comprehensive educational program and deep learning framework designed to teach practical deep learning using PyTorch through notebooks and code examples. It serves as a high-level library for building, training, and deploying neural networks, acting as a model training orchestrator that coordinates PyTorch models, optimizers, and loss functions. The project provides specialized toolkits for computer vision, natural language processing, and tabular data preprocessing. It distinguishes itself through advanced training controls such as discriminative learning rates, a two-w

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

هذا المشروع هو إطار عمل تعلم تبايني ذاتي الإشراف مصمم لتدريب نماذج التعلم العميق لتعلم تمثيلات مرئية من الصور دون استخدام تسميات مقدمة من البشر. يوفر نظاماً لتطوير نماذج تمثيل مرئي مدربة مسبقاً يمكن تكييفها لمهام رؤية الكمبيوتر اللاحقة. يتضمن إطار العمل أدوات لتصنيف الصور شبه الخاضع للإشراف، والذي يجمع بين مجموعات بيانات كبيرة غير مصنفة ومجموعات صغيرة مصنفة لتحسين الدقة. كما يتميز بأداة تقييم مسبار خطي لتقييم جودة ميزات الصورة المتعلمة عن طريق تدريب مصنف خطي بسيط فوق التمثيلات المجمدة. يغطي الكود البرمجي تدريب التعلم العميق الموزع وتسريع الأجهزة للتعامل مع أحجام دفعات كبيرة، إلى جانب بدائيات التحسين مثل جدولة معدل التعلم cosine-decay وتنظيم weight-decay. كما يوفر أدوات لإدارة النماذج، بما في ذلك تحويل نقاط التحقق المدربة مسبقاً بين تنسيقات إطار عمل التعلم العميق المختلفة وأدوات لنشر النماذج. يتم توفير التنفيذ كمجموعة من دفاتر Jupyter.

DeepLearningZeroToAll هو مورد تعليمي شامل ومجموعة تنفيذ تركز على التعلم العميق والتعلم الآلي. يوفر مسار تعلم منظماً باستخدام TensorFlow للانتقال من النماذج الخطية الأساسية إلى بنى الشبكات العصبية المعقدة. يتميز المشروع بتنفيذاته العملية لأنواع مختلفة من الشبكات، بما في ذلك perceptrons متعددة الطبقات لمشاكل المنطق، والشبكات العصبية التلافيفية للبيانات المكانية والتعرف على الصور، والشبكات العصبية المتكررة باستخدام خلايا LSTM للتنبؤ بالسلاسل الزمنية وتنبؤ تسلسل الأحرف. كما يتضمن عروضاً توضيحية مفصلة لتنظيم النموذج من خلال تقنيات تطبيع الدفعات (batch normalization) والـ dropout. يغطي المستودع مجموعة واسعة من القدرات، بما في ذلك التعلم الآلي الخاضع للإشراف مع الانحدار الخطي واللوجستي، وهندسة البيانات لمعالجة الـ tensor والقياس، وتحسين النموذج من خلال الانحدار المتدرج (gradient descent) وحسابات الانتشار العكسي اليدوية. كما يتضمن أدوات لتقييم النموذج، واستمرارية الأوزان، وقابلية مراقبة التدريب عبر تصور دالة التكلفة وتسجيل المقاييس. يتم تقديم المحتوى من خلال سلسلة من Jupyter Notebooks.