Awesome GitHub RepositoriesOverfitting Reduction Techniques

Albumentations is an image augmentation library and computer vision preprocessing tool designed to expand datasets for deep learning models. It provides a collection of transformations that modify pixel values and spatial geometry to increase the diversity of training samples and improve model generalization. The library supports both 2D image augmentation and 3D volumetric data augmentation. It handles a variety of labels alongside images, ensuring that bounding boxes, keypoints, and segmentation masks remain accurately aligned when spatial transformations are applied. The tool incorporates

This is a Python machine learning library featuring a collection of core algorithms implemented from scratch to demonstrate foundational AI concepts. It provides a comprehensive toolkit for supervised learning, unsupervised learning, and neural network development. The project is distinguished by its custom implementation of a neural network framework, which includes multi-layer perceptrons with backpropagation, gradient descent, and weight regularization. It also includes a specialized anomaly detection toolkit that identifies outliers and rare events using Gaussian probability distributions

This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a comprehensive educational curriculum designed to teach machine learning fundamentals using the Python programming language. It provides a structured course covering the implementation and theory of supervised learning, unsupervised learning, and deep learning. The curriculum is delivered through interactive notebooks that combine executable code with technical tutorials. It includes dedicated guides for building neural network architectures, implementing classification and regression models, and utilizing clustering techniques for pattern discovery in unlabeled data. The materials

Code release for ConvNeXt model

This is an educational Python implementation of every algorithm from Li Hang's textbook on statistical learning methods. The project provides a comprehensive collection of supervised learning algorithms covering classification, regression, and sequence modeling techniques, implemented from scratch for learning and reference purposes. The repository covers a broad range of foundational machine learning methods, including decision trees built using the ID3 algorithm with information gain, ensemble boosting through AdaBoost that combines threshold-based weak learners, and probabilistic sequence

Composer هو إطار عمل للتدريب الموزع في PyTorch مصمم لتوسيع نطاق النماذج الضخمة عبر مجموعات GPU متعددة العقد. يعمل كمدرب لنماذج اللغات الكبيرة، ومحسن نماذج موزع، ومدير لدورة حياة التدريب. يتميز المشروع كونه مكتبة لتنظيم التعلم العميق (regularization)، حيث يوفر تقنيات تحسين متخصصة مثل Sharpness Aware Minimization وMixUp وCutMix لتحسين تعميم النموذج. كما يميز تدفق التدريب الخاص به باستخدام تسخين طول التسلسل، وتجميد الطبقات التدريجي، وحفظ نقاط التحقق (checkpointing) المجزأة لاستعادة النماذج الضخمة. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تنسيق التدريب الموزع، وإدارة الأجهزة ذات الدقة المختلطة، وبث البيانات السحابي. كما يوفر أدوات مراقبة وتشخيص واسعة النطاق لتشخيص ذاكرة GPU، واكتشاف تباعد التدريب، وتتبع الإنتاجية. يتضمن المشروع مشغلاً عبر سطر الأوامر لأتمتة تنفيذ مهام التدريب متعددة الـ GPU عبر العقد.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

هذا المشروع هو إطار عمل تعلم تبايني ذاتي الإشراف مصمم لتدريب نماذج التعلم العميق لتعلم تمثيلات مرئية من الصور دون استخدام تسميات مقدمة من البشر. يوفر نظاماً لتطوير نماذج تمثيل مرئي مدربة مسبقاً يمكن تكييفها لمهام رؤية الكمبيوتر اللاحقة. يتضمن إطار العمل أدوات لتصنيف الصور شبه الخاضع للإشراف، والذي يجمع بين مجموعات بيانات كبيرة غير مصنفة ومجموعات صغيرة مصنفة لتحسين الدقة. كما يتميز بأداة تقييم مسبار خطي لتقييم جودة ميزات الصورة المتعلمة عن طريق تدريب مصنف خطي بسيط فوق التمثيلات المجمدة. يغطي الكود البرمجي تدريب التعلم العميق الموزع وتسريع الأجهزة للتعامل مع أحجام دفعات كبيرة، إلى جانب بدائيات التحسين مثل جدولة معدل التعلم cosine-decay وتنظيم weight-decay. كما يوفر أدوات لإدارة النماذج، بما في ذلك تحويل نقاط التحقق المدربة مسبقاً بين تنسيقات إطار عمل التعلم العميق المختلفة وأدوات لنشر النماذج. يتم توفير التنفيذ كمجموعة من دفاتر Jupyter.

هذا المشروع عبارة عن قاعدة كود تعليمية ومكتبة مرجعية تترجم مفاهيم تعلم الآلة النظرية إلى كود PyTorch قابل للتنفيذ. يعمل كتطبيق عملي لكتاب مدرسي عن تعلم الآلة، ويوفر هيكلاً يشبه الدورة التدريبية من التمارين الموجهة والأمثلة المعمارية لأغراض التعلم. يتضمن المستودع مكتبة من معماريات الشبكات العصبية القياسية، بما في ذلك النماذج الخطية، والتلافيفية، والمتكررة، ونماذج المحولات (transformers). ينفذ بشكل خاص مجموعة متنوعة من أنماط تعلم الآلة مثل الإدراك متعدد الطبقات، وشبكات VGG، ووحدات التكرار المبوّبة (GRU)، وشبكات الذاكرة طويلة المدى (LSTM). تغطي قاعدة الكود مجالات قدرات واسعة بما في ذلك الرؤية الحاسوبية لتصنيف الصور واكتشاف الكائنات، بالإضافة إلى معالجة اللغات الطبيعية لنمذجة التسلسل والترجمة. كما ينفذ مكونات تعلم الآلة الأساسية مثل الانحدار الخطي وsoftmax، والتصنيف الاحتمالي، ومجموعة من خوارزميات التحسين القائمة على التدرج. يتم تقديم المشروع بشكل أساسي كمجموعة من دفاتر Jupyter.

This project is a collection of educational resources and reference implementations for neural network development using TensorFlow. It serves as a comprehensive learning course, machine learning curriculum, and practical implementation guide for building deep learning architectures. The codebase provides instructional materials and examples covering a wide range of model types, including convolutional neural networks for image classification, recurrent networks and long short-term memory cells for sequential data, and autoencoders for generative modeling. It also includes implementations for

DeepLearnToolbox is a research-oriented framework for constructing, training, and optimizing hierarchical neural networks within the Matlab and Octave environments. It provides a modular set of tools for building diverse network topologies, including feedforward, convolutional, and deep belief architectures, using native matrix-based numerical computation. The library distinguishes itself through its support for layer-wise unsupervised pre-training, which establishes initial weights for deep models before supervised fine-tuning. It incorporates stochastic gradient descent and backpropagation

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,