Awesome GitHub RepositoriesOverfitting Reduction Techniques

Albumentations is an image augmentation library and computer vision preprocessing tool designed to expand datasets for deep learning models. It provides a collection of transformations that modify pixel values and spatial geometry to increase the diversity of training samples and improve model generalization. The library supports both 2D image augmentation and 3D volumetric data augmentation. It handles a variety of labels alongside images, ensuring that bounding boxes, keypoints, and segmentation masks remain accurately aligned when spatial transformations are applied. The tool incorporates

This is a Python machine learning library featuring a collection of core algorithms implemented from scratch to demonstrate foundational AI concepts. It provides a comprehensive toolkit for supervised learning, unsupervised learning, and neural network development. The project is distinguished by its custom implementation of a neural network framework, which includes multi-layer perceptrons with backpropagation, gradient descent, and weight regularization. It also includes a specialized anomaly detection toolkit that identifies outliers and rare events using Gaussian probability distributions

This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

Il s'agit d'un programme éducatif complet conçu pour enseigner les fondamentaux de l'apprentissage automatique en utilisant le langage de programmation Python. Il fournit un cours structuré couvrant l'implémentation et la théorie de l'apprentissage supervisé, de l'apprentissage non supervisé et de l'apprentissage profond. Le programme est dispensé via des notebooks interactifs qui combinent du code exécutable avec des tutoriels techniques. Il inclut des guides dédiés pour construire des architectures de réseaux de neurones, implémenter des modèles de classification et de régression, et utiliser des techniques de clustering pour la découverte de modèles dans des données non étiquetées. Le matériel couvre l'intégralité du flux de travail d'apprentissage automatique, y compris le prétraitement des données et l'encodage catégoriel, l'entraînement des modèles et le réglage des hyperparamètres, ainsi que l'évaluation des performances. Il propose également des outils pour visualiser le comportement des modèles, tels que le tracé des frontières de décision et les diagrammes d'arbres de décision.

Code release for ConvNeXt model

This is an educational Python implementation of every algorithm from Li Hang's textbook on statistical learning methods. The project provides a comprehensive collection of supervised learning algorithms covering classification, regression, and sequence modeling techniques, implemented from scratch for learning and reference purposes. The repository covers a broad range of foundational machine learning methods, including decision trees built using the ID3 algorithm with information gain, ensemble boosting through AdaBoost that combines threshold-based weak learners, and probabilistic sequence

Composer est un framework d'entraînement distribué PyTorch conçu pour mettre à l'échelle des modèles de grande taille sur des clusters GPU multi-nœuds. Il fonctionne comme un entraîneur de grands modèles de langage, un optimiseur de modèle distribué et un gestionnaire de cycle de vie d'entraînement. Le projet se différencie en tant que bibliothèque de régularisation pour le deep learning, fournissant des techniques d'optimisation spécialisées telles que Sharpness Aware Minimization, MixUp et CutMix pour améliorer la généralisation des modèles. Il distingue davantage son flux d'entraînement par l'utilisation du warmup de longueur de séquence, du gel progressif des couches et du checkpointing d'état fragmenté pour la récupération de modèles à grande échelle. Le framework couvre une large surface de capacités, incluant l'orchestration de l'entraînement distribué, la gestion du matériel en précision mixte et le streaming de données cloud-native. Il fournit également des outils étendus de surveillance et d'observabilité pour les diagnostics de mémoire GPU, la détection de divergence d'entraînement et le suivi du débit. Le projet inclut un lanceur en ligne de commande pour automatiser l'exécution de tâches d'entraînement multi-GPU sur plusieurs nœuds.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Ce projet est un framework d'apprentissage contrastif auto-supervisé conçu pour entraîner des modèles d'apprentissage profond à apprendre des représentations visuelles à partir d'images sans utiliser d'étiquettes fournies par l'homme. Il fournit un système pour développer des modèles de représentation visuelle pré-entraînés qui peuvent être adaptés pour des tâches de vision par ordinateur en aval. Le framework inclut des outils pour la classification d'images semi-supervisée, qui combine de grands ensembles de données non étiquetés avec de petits ensembles étiquetés pour améliorer la précision. Il dispose également d'un outil d'évaluation par sonde linéaire pour évaluer la qualité des caractéristiques d'image apprises en entraînant un classificateur linéaire simple sur des représentations gelées. La base de code couvre l'entraînement par apprentissage profond distribué et l'accélération matérielle pour gérer de grandes tailles de batch, ainsi que des primitives d'optimisation telles que la planification du taux d'apprentissage par décroissance cosinus et la régularisation par décroissance de poids. Elle fournit également des utilitaires pour la gestion des modèles, y compris la conversion de checkpoints pré-entraînés entre différents formats de framework d'apprentissage profond et des outils pour le déploiement de modèles. L'implémentation est fournie sous forme de collection de Jupyter Notebooks.

Ce projet est une base de code pédagogique et une bibliothèque de référence qui traduit des concepts théoriques de deep learning en code PyTorch exécutable. Il sert d'implémentation pratique d'un manuel de deep learning, fournissant une structure de cours avec des exercices guidés et des exemples d'architectures à des fins d'apprentissage. Le dépôt inclut une bibliothèque d'architectures de réseaux de neurones standard, notamment des modèles linéaires, convolutifs, récurrents et transformers. Il implémente spécifiquement une variété de modèles de deep learning tels que les perceptrons multicouches, les réseaux VGG, les unités récurrentes à portes (GRU) et les réseaux LSTM (Long Short-Term Memory). La base de code couvre de larges domaines de capacités, notamment la vision par ordinateur pour la classification d'images et la détection d'objets, ainsi que le traitement du langage naturel pour la modélisation de séquences et la traduction. Il implémente également des composants fondamentaux de machine learning tels que la régression linéaire et softmax, la classification probabiliste et une suite d'algorithmes d'optimisation basés sur le gradient. Le projet est principalement distribué sous forme de collection de Jupyter Notebooks.

Ce projet est une collection de ressources éducatives et d'implémentations de référence pour le développement de réseaux de neurones utilisant TensorFlow. Il sert de cours d'apprentissage complet, de programme d'apprentissage automatique et de guide d'implémentation pratique pour construire des architectures de deep learning. La base de code fournit des supports pédagogiques et des exemples couvrant un large éventail de types de modèles, y compris les réseaux de neurones convolutifs pour la classification d'images, les réseaux récurrents et les cellules LSTM pour les données séquentielles, et les auto-encodeurs pour la modélisation générative. Il inclut également des implémentations pour des agents d'apprentissage par renforcement profond et des techniques de transfert d'apprentissage pour adapter des modèles pré-entraînés à de nouvelles tâches. Le projet couvre le cycle de vie complet du développement, y compris le prétraitement des données, la définition du graphe de calcul et l'optimisation des poids. Il fournit des utilitaires pour l'évaluation des modèles et l'optimisation de l'entraînement, tels que le dropout et la régularisation, ainsi que des outils pour visualiser l'architecture du réseau et surveiller les métriques d'entraînement.

DeepLearnToolbox is a research-oriented framework for constructing, training, and optimizing hierarchical neural networks within the Matlab and Octave environments. It provides a modular set of tools for building diverse network topologies, including feedforward, convolutional, and deep belief architectures, using native matrix-based numerical computation. The library distinguishes itself through its support for layer-wise unsupervised pre-training, which establishes initial weights for deep models before supervised fine-tuning. It incorporates stochastic gradient descent and backpropagation

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,