Awesome GitHub RepositoriesBatch Normalization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Fastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza

Tinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f

Ce projet fournit un framework de réseau résiduel profond et des modèles PyTorch pré-entraînés conçus pour la reconnaissance d'images haute précision. Il implémente une architecture de réseau de neurones qui utilise des connexions de saut (skip connections) pour permettre l'entraînement de modèles très profonds sans dégradation du gradient. Le système est conçu pour des tâches de vision par ordinateur, incluant la classification d'images, la détection d'objets et la segmentation de données visuelles. Il inclut des poids entraînés sur ImageNet pour soutenir le transfert learning et le fine-tuning de modèles sur des datasets d'images personnalisés. La conception architecturale se concentre sur les blocs d'apprentissage résiduel, les configurations de couches goulot d'étranglement (bottleneck) et la normalisation par lots pour maintenir la stabilité pendant l'entraînement. Le framework emploie également le pooling moyen global pour réduire les paramètres et prévenir le surapprentissage.

Ce projet est une collection de Jupyter Notebooks éducatifs proposant des tutoriels sur la construction de réseaux de neurones et les opérations sur tenseurs avec le framework TensorFlow. Il sert de dépôt pédagogique pour le machine learning et de guide d'implémentation pour les étudiants en deep learning. La suite se concentre sur des architectures avancées spécifiques, notamment les réseaux convolutifs pour la classification d'images, les réseaux résiduels avec connexions sautées pour la stabilité de l'entraînement, et les auto-encodeurs variationnels pour la modélisation générative et la synthèse de données. Elle inclut également des guides pour construire des auto-encodeurs de débruitage et profonds afin d'effectuer l'extraction de caractéristiques et la réduction de dimensionnalité. Le dépôt couvre un large spectre de modélisation prédictive, avec des implémentations de régression linéaire, polynomiale et logistique pour prédire des valeurs continues et des résultats binaires. Le contenu est organisé en notebooks interactifs permettant aux utilisateurs d'exécuter des opérations mathématiques et de modifier des expériences de machine learning.

Composer est un framework d'entraînement distribué PyTorch conçu pour mettre à l'échelle des modèles de grande taille sur des clusters GPU multi-nœuds. Il fonctionne comme un entraîneur de grands modèles de langage, un optimiseur de modèle distribué et un gestionnaire de cycle de vie d'entraînement. Le projet se différencie en tant que bibliothèque de régularisation pour le deep learning, fournissant des techniques d'optimisation spécialisées telles que Sharpness Aware Minimization, MixUp et CutMix pour améliorer la généralisation des modèles. Il distingue davantage son flux d'entraînement par l'utilisation du warmup de longueur de séquence, du gel progressif des couches et du checkpointing d'état fragmenté pour la récupération de modèles à grande échelle. Le framework couvre une large surface de capacités, incluant l'orchestration de l'entraînement distribué, la gestion du matériel en précision mixte et le streaming de données cloud-native. Il fournit également des outils étendus de surveillance et d'observabilité pour les diagnostics de mémoire GPU, la détection de divergence d'entraînement et le suivi du débit. Le projet inclut un lanceur en ligne de commande pour automatiser l'exécution de tâches d'entraînement multi-GPU sur plusieurs nœuds.

Flashlight est une bibliothèque de machine learning et de tenseurs autonome en C++ utilisée pour construire et entraîner des réseaux de neurones. Elle fonctionne comme un framework complet de réseaux de neurones et un moteur de différenciation automatique, fournissant les outils pour construire des graphes de calcul et calculer les gradients via la rétropropagation. Le projet sert de framework d'entraînement distribué, utilisant des opérations all-reduce pour synchroniser les gradients et les paramètres sur plusieurs nœuds de calcul et appareils. Il se distingue par une intégration profonde de la manipulation de tenseurs haute performance, l'interopérabilité native de la mémoire des appareils et un système pour synchroniser les poids entre les workers distribués afin d'accélérer l'entraînement de modèles à grande échelle. Le framework couvre un large éventail de capacités de deep learning, incluant la composition modulaire de couches pour concevoir des architectures complexes comme des blocs résiduels et des cellules récurrentes. Il fournit des utilitaires étendus de gestion de données pour l'ingestion et le préchargement, ainsi que des systèmes de sérialisation pour persister les états de modèle. De plus, il inclut une suite d'outils de surveillance et d'observabilité pour suivre les métriques d'entraînement et mesurer les erreurs de séquence. La bibliothèque est implémentée en C++.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

webgl-fundamentals est une ressource éducative complète et un tutoriel graphique pour apprendre le rendu 2D et 3D accéléré par le matériel en utilisant l'API WebGL. Il sert de programme d'études structuré sur les graphismes 3D et de référence pour la programmation GPU, guidant les utilisateurs à travers le pipeline graphique, de la géométrie de base aux techniques de rendu avancées. Le projet fournit des guides détaillés sur le développement de shaders GLSL, y compris la création de shaders de sommets (vertex) et de fragments. Il se concentre spécifiquement sur l'implémentation de modèles d'éclairage en temps réel — tels que l'éclairage directionnel, ponctuel et spot — et l'application de flux de travail de shadow mapping et de texture mapping. La ressource couvre une large surface de capacités en infographie, y compris les mathématiques spatiales 3D, l'implémentation de systèmes de caméra pour les vues en perspective et orthographiques, et l'utilisation de transformations matricielles. Elle inclut également des instructions pour effectuer du calcul GPU généraliste (GPGPU) et optimiser les performances de rendu via des sommets indexés.

Ce projet est un programme éducatif complet et un framework de deep learning conçu pour enseigner le deep learning pratique avec PyTorch via des notebooks et des exemples de code. Il sert de bibliothèque de haut niveau pour construire, entraîner et déployer des réseaux de neurones, agissant comme un orchestrateur d'entraînement de modèles qui coordonne les modèles PyTorch, les optimiseurs et les fonctions de perte. Le projet fournit des boîtes à outils spécialisées pour la vision par ordinateur, le traitement du langage naturel et le prétraitement de données tabulaires. Il se distingue par des contrôles d'entraînement avancés tels que des taux d'apprentissage discriminatifs, un système de callback bidirectionnel pour personnaliser la logique d'entraînement, et une abstraction de haut niveau qui automatise le placement sur périphérique et les boucles d'entraînement. Le framework couvre une large surface de capacités, y compris la construction automatisée de pipelines de données, l'analyse d'architecture de modèles et l'évaluation des performances sur des tâches de classification, de régression et de segmentation. Il inclut également des utilitaires pour l'entraînement distribué sur plusieurs GPU, l'entraînement en précision mixte pour l'optimisation de la mémoire, et un support spécialisé pour les données d'imagerie médicale. Le projet est livré sous forme d'une série de Jupyter Notebooks.

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Ce projet est un framework d'apprentissage contrastif auto-supervisé conçu pour entraîner des modèles d'apprentissage profond à apprendre des représentations visuelles à partir d'images sans utiliser d'étiquettes fournies par l'homme. Il fournit un système pour développer des modèles de représentation visuelle pré-entraînés qui peuvent être adaptés pour des tâches de vision par ordinateur en aval. Le framework inclut des outils pour la classification d'images semi-supervisée, qui combine de grands ensembles de données non étiquetés avec de petits ensembles étiquetés pour améliorer la précision. Il dispose également d'un outil d'évaluation par sonde linéaire pour évaluer la qualité des caractéristiques d'image apprises en entraînant un classificateur linéaire simple sur des représentations gelées. La base de code couvre l'entraînement par apprentissage profond distribué et l'accélération matérielle pour gérer de grandes tailles de batch, ainsi que des primitives d'optimisation telles que la planification du taux d'apprentissage par décroissance cosinus et la régularisation par décroissance de poids. Elle fournit également des utilitaires pour la gestion des modèles, y compris la conversion de checkpoints pré-entraînés entre différents formats de framework d'apprentissage profond et des outils pour le déploiement de modèles. L'implémentation est fournie sous forme de collection de Jupyter Notebooks.

DeepLearningZeroToAll est une ressource éducative complète et une collection d'implémentations axée sur le deep learning et le machine learning. Elle propose un parcours d'apprentissage structuré utilisant TensorFlow pour passer des modèles linéaires fondamentaux aux architectures de réseaux de neurones complexes. Le projet se distingue par ses implémentations pratiques de divers types de réseaux, incluant des perceptrons multicouches pour les problèmes de logique, des réseaux de neurones convolutifs pour les données spatiales et la reconnaissance d'images, et des réseaux de neurones récurrents utilisant des cellules LSTM pour la prévision de séries temporelles et la prédiction de séquences de caractères. Il inclut également des démonstrations détaillées de la régularisation de modèles via des techniques de batch normalization et de dropout. Le dépôt couvre un large éventail de capacités, incluant le machine learning supervisé avec régression linéaire et logistique, l'ingénierie des données pour la manipulation et la mise à l'échelle de tenseurs, et l'optimisation de modèles par descente de gradient et calculs manuels de rétropropagation. Il inclut en outre des outils pour l'évaluation de modèles, la persistance des poids et l'observabilité de l'entraînement via la visualisation de la fonction de coût et la journalisation des métriques. Le contenu est délivré via une série de Jupyter Notebooks.