Awesome GitHub RepositoriesBatch Normalization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Fastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza

Tinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f

Este proyecto es un framework de redes residuales profundas y modelos de PyTorch pre-entrenados diseñados para el reconocimiento de imágenes de alta precisión. Implementa una arquitectura de red neuronal que utiliza conexiones de salto (skip connections) para permitir el entrenamiento de modelos muy profundos sin degradación del gradiente. El sistema está diseñado para tareas de visión artificial, incluyendo clasificación de imágenes, detección de objetos y segmentación de datos visuales. Incluye pesos entrenados en ImageNet para apoyar el transfer learning y el ajuste fino (fine-tuning) de modelos en datasets de imágenes personalizados. El diseño arquitectónico se centra en bloques de aprendizaje residual, configuraciones de capas de cuello de botella y normalización por lotes (batch normalization) para mantener la estabilidad durante el entrenamiento. El framework también emplea global average pooling para reducir parámetros y prevenir el sobreajuste (overfitting).

Este proyecto es una colección de Jupyter Notebooks educativos que ofrecen tutoriales sobre la construcción de redes neuronales y operaciones con tensores utilizando el framework TensorFlow. Sirve como repositorio educativo de machine learning y guía de implementación para estudiantes de deep learning. La suite se centra en arquitecturas avanzadas específicas, incluyendo redes convolucionales para clasificación de imágenes, redes residuales con conexiones de salto (skip connections) para la estabilidad del entrenamiento y autoencoders variacionales para modelado generativo y síntesis de datos. También incluye guías para construir autoencoders de eliminación de ruido (denoising) y profundos para realizar extracción de características y reducción de dimensionalidad. El repositorio cubre un espectro más amplio de modelado predictivo, con implementaciones de regresión lineal, polinómica y logística para predecir valores continuos y resultados binarios. El contenido está organizado en notebooks interactivos que permiten a los usuarios ejecutar operaciones matemáticas y modificar experimentos de machine learning.

Composer es un framework de entrenamiento distribuido para PyTorch diseñado para escalar modelos a gran escala en clústeres de GPU multi-nodo. Funciona como un entrenador de modelos de lenguaje de gran tamaño (LLM), un optimizador de modelos distribuidos y un gestor del ciclo de vida de entrenamiento. El proyecto se diferencia como una biblioteca de regularización para deep learning, proporcionando técnicas de optimización especializadas como Sharpness Aware Minimization, MixUp y CutMix para mejorar la generalización del modelo. Además, distingue su flujo de entrenamiento mediante el uso de warmup de longitud de secuencia, congelación progresiva de capas y checkpointing de estado fragmentado (sharded-state) para la recuperación de modelos a gran escala. El framework cubre una amplia superficie de capacidades, incluyendo la orquestación de entrenamiento distribuido, la gestión de hardware de precisión mixta y el streaming de datos cloud-native. También proporciona herramientas extensas de monitoreo y observabilidad para diagnósticos de memoria de GPU, detección de divergencia en el entrenamiento y seguimiento del rendimiento (throughput). El proyecto incluye un lanzador de línea de comandos para automatizar la ejecución de trabajos de entrenamiento multi-GPU entre nodos.

Flashlight es una biblioteca de aprendizaje automático y de tensores independiente en C++ utilizada para construir y entrenar redes neuronales. Funciona como un framework integral de redes neuronales y motor de diferenciación automática, proporcionando las herramientas para construir grafos de computación y calcular gradientes mediante retropropagación. El proyecto sirve como framework de entrenamiento distribuido, utilizando operaciones all-reduce para sincronizar gradientes y parámetros a través de múltiples nodos de cómputo y dispositivos. Se distingue por una integración profunda de manipulación de tensores de alto rendimiento, interoperabilidad nativa de memoria de dispositivo y un sistema para sincronizar pesos a través de trabajadores distribuidos para acelerar el entrenamiento de modelos a gran escala. El framework cubre una amplia gama de capacidades de aprendizaje profundo, incluyendo composición modular de capas para diseñar arquitecturas complejas como bloques residuales y celdas recurrentes. Proporciona utilidades extensas de gestión de datos para ingesta y prefetching, junto con sistemas de serialización para persistir estados de modelos. Además, incluye una suite de herramientas de monitorización y observabilidad para rastrear métricas de entrenamiento y medir errores de secuencia. La biblioteca está implementada en C++.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

webgl-fundamentals es un recurso educativo completo y tutorial de gráficos para aprender renderizado 2D y 3D acelerado por hardware utilizando la API WebGL. Sirve como un plan de estudios estructurado de gráficos 3D y referencia de programación de GPU, guiando a los usuarios a través del pipeline de gráficos desde la geometría básica hasta técnicas de renderizado avanzadas. El proyecto proporciona guías detalladas sobre el desarrollo de shaders GLSL, incluyendo la creación de shaders de vértices y fragmentos. Se centra específicamente en la implementación de modelos de iluminación en tiempo real —como iluminación direccional, puntual y de foco— y la aplicación de flujos de trabajo de shadow mapping y texture mapping. El recurso cubre una amplia superficie de capacidades de gráficos por computadora, incluyendo matemáticas espaciales 3D, implementación de sistemas de cámara para vistas en perspectiva y ortográficas, y el uso de transformaciones de matrices. También incluye instrucciones para realizar computación de propósito general en GPU (GPGPU) y optimizar el rendimiento del renderizado mediante vértices indexados.

Este repositorio es un programa educativo integral y un framework de deep learning diseñado para enseñar aprendizaje profundo práctico usando PyTorch a través de notebooks y ejemplos de código. Sirve como una librería de alto nivel para construir, entrenar y desplegar redes neuronales, actuando como un orquestador de entrenamiento de modelos que coordina modelos de PyTorch, optimizadores y funciones de pérdida. El proyecto proporciona kits de herramientas especializados para visión artificial, procesamiento de lenguaje natural y preprocesamiento de datos tabulares. Se distingue por controles de entrenamiento avanzados como tasas de aprendizaje discriminativas, un sistema de callbacks bidireccional para personalizar la lógica de entrenamiento y una abstracción de learner de alto nivel que automatiza la colocación en dispositivos y los bucles de entrenamiento. El framework cubre una amplia superficie de capacidades, incluyendo la construcción automatizada de pipelines de datos, análisis de arquitectura de modelos y evaluación de rendimiento en tareas de clasificación, regresión y segmentación. También incluye utilidades para entrenamiento distribuido en múltiples GPUs, entrenamiento de precisión mixta para optimización de memoria y soporte especializado para datos de imágenes médicas. El proyecto se entrega como una serie de Jupyter Notebooks.

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Este proyecto es un framework de aprendizaje contrastivo auto-supervisado diseñado para entrenar modelos de aprendizaje profundo para aprender representaciones visuales a partir de imágenes sin utilizar etiquetas proporcionadas por humanos. Proporciona un sistema para desarrollar modelos de representación visual preentrenados que pueden adaptarse para tareas de visión artificial posteriores. El framework incluye herramientas para la clasificación de imágenes semi-supervisada, que combina grandes conjuntos de datos sin etiquetar con pequeños conjuntos etiquetados para mejorar la precisión. También cuenta con una herramienta de evaluación de sonda lineal (linear probe) para evaluar la calidad de las características de imagen aprendidas entrenando un clasificador lineal simple sobre representaciones congeladas. El código base cubre el entrenamiento de aprendizaje profundo distribuido y la aceleración por hardware para manejar grandes tamaños de lote, junto con primitivas de optimización como la programación de tasa de aprendizaje de decaimiento de coseno y regularización de decaimiento de peso. También proporciona utilidades para la gestión de modelos, incluyendo la conversión de checkpoints preentrenados entre diferentes formatos de frameworks de aprendizaje profundo y herramientas para el despliegue de modelos. La implementación se proporciona como una colección de Jupyter Notebooks.

DeepLearningZeroToAll is a comprehensive educational resource and implementation collection focused on deep learning and machine learning. It provides a structured learning path using TensorFlow to move from foundational linear models to complex neural network architectures. The project is distinguished by its practical implementations of various network types, including multilayer perceptrons for logic problems, convolutional neural networks for spatial data and image recognition, and recurrent neural networks using LSTM cells for time-series forecasting and character sequence prediction. It