Awesome GitHub RepositoriesBatch Normalization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Fastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza

Tinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f

Dieses Projekt bietet ein Framework für Deep Residual Networks und vortrainierte PyTorch-Modelle, die für hochpräzise Bilderkennung konzipiert sind. Es implementiert eine Architektur für neuronale Netze, die Skip-Connections nutzt, um das Training sehr tiefer Modelle ohne Gradienten-Degradation zu ermöglichen. Das System ist für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und visuelle Datensegmentierung ausgelegt. Es enthält auf ImageNet trainierte Gewichte, um Transfer Learning und das Fine-Tuning von Modellen auf benutzerdefinierten Bilddatensätzen zu unterstützen. Das architektonische Design konzentriert sich auf Residual-Learning-Blöcke, Bottleneck-Layer-Konfigurationen und Batch-Normalisierung, um die Stabilität während des Trainings zu wahren. Das Framework verwendet zudem Global Average Pooling, um Parameter zu reduzieren und Overfitting zu verhindern.

This project is a collection of educational Jupyter Notebooks providing tutorials on neural network construction and tensor operations using the TensorFlow framework. It serves as a machine learning educational repository and implementation guide for deep learning students. The suite focuses on specific advanced architectures, including convolutional networks for image classification, residual networks with skip connections for training stability, and variational autoencoders for generative modeling and data synthesis. It also includes guides for building denoising and deep autoencoders to pe

Composer ist ein Framework für verteiltes Training mit PyTorch, das für die Skalierung großer Modelle über Multi-Node-GPU-Cluster hinweg entwickelt wurde. Es fungiert als Trainer für Large Language Models, als verteilter Modelloptimierer und als Manager für den Trainingslebenszyklus. Das Projekt hebt sich als Bibliothek für Deep-Learning-Regularisierung hervor und bietet spezialisierte Optimierungstechniken wie Sharpness Aware Minimization, MixUp und CutMix, um die Generalisierung von Modellen zu verbessern. Es differenziert seinen Trainingsablauf zudem durch den Einsatz von Sequence Length Warmup, progressivem Layer-Freezing und Sharded-State-Checkpointing für die Wiederherstellung großer Modelle. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter die Orchestrierung von verteiltem Training, das Management von Mixed-Precision-Hardware und Cloud-natives Daten-Streaming. Es bietet zudem umfangreiche Monitoring- und Observability-Tools für die Diagnose von GPU-Speicher, die Erkennung von Trainingsdivergenz und die Verfolgung des Durchsatzes. Das Projekt enthält einen CLI-Launcher zur Automatisierung der Ausführung von Multi-GPU-Trainingsjobs über mehrere Nodes hinweg.

Flashlight ist eine eigenständige C++-Bibliothek für maschinelles Lernen und Tensor-Berechnungen, die zum Erstellen und Trainieren neuronaler Netze verwendet wird. Sie fungiert als umfassendes Framework für neuronale Netze und Engine für automatische Differenzierung und bietet Werkzeuge zur Konstruktion von Berechnungsgraphen und zur Berechnung von Gradienten via Backpropagation. Das Projekt dient als Framework für verteiltes Training und nutzt All-Reduce-Operationen zur Synchronisation von Gradienten und Parametern über mehrere Rechenknoten und Geräte hinweg. Es zeichnet sich durch eine tiefe Integration von leistungsstarker Tensor-Manipulation, nativer Interoperabilität mit Gerätespeichern und einem System zur Synchronisation von Gewichten über verteilte Worker aus, um das Training großskaliger Modelle zu beschleunigen. Das Framework deckt eine breite Palette an Deep-Learning-Funktionen ab, einschließlich modularer Schichtkomposition für den Entwurf komplexer Architekturen wie Residual-Blöcke und rekurrente Zellen. Es bietet umfangreiche Datenmanagement-Utilities für Ingestion und Prefetching sowie Serialisierungssysteme zur Persistierung von Modellzuständen. Zusätzlich enthält es eine Suite an Überwachungs- und Observability-Tools zur Verfolgung von Trainingsmetriken und zur Messung von Sequenzfehlern. Die Bibliothek ist in C++ implementiert.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

webgl-fundamentals ist eine umfassende Bildungsressource und Grafik-Tutorial für das Erlernen von hardwarebeschleunigtem 2D- und 3D-Rendering unter Verwendung der WebGL-API. Es dient als strukturierter Lehrplan für 3D-Grafik und Referenz für GPU-Programmierung und führt Benutzer durch die Grafik-Pipeline von grundlegender Geometrie bis hin zu fortgeschrittenen Rendering-Techniken. Das Projekt bietet detaillierte Anleitungen zur GLSL-Shader-Entwicklung, einschließlich der Erstellung von Vertex- und Fragment-Shadern. Der Fokus liegt speziell auf der Implementierung von Echtzeit-Beleuchtungsmodellen – wie Richtungs-, Punkt- und Spot-Lichtquellen – sowie der Anwendung von Shadow-Mapping- und Texture-Mapping-Workflows. Die Ressource deckt ein breites Spektrum an Computergrafik-Funktionen ab, einschließlich 3D-Raummathematik, Implementierung von Kamerasystemen für perspektivische und orthografische Ansichten sowie die Verwendung von Matrix-Transformationen. Sie enthält zudem Anleitungen zur Durchführung von General-Purpose-GPU-Computing (GPGPU) und zur Optimierung der Rendering-Performance durch indizierte Vertices.

Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Dieses Projekt ist ein selbstüberwachtes kontrastives Lern-Framework, das darauf ausgelegt ist, Deep-Learning-Modelle darauf zu trainieren, visuelle Repräsentationen aus Bildern zu lernen, ohne menschlich bereitgestellte Labels zu verwenden. Es bietet ein System zur Entwicklung vortrainierter visueller Repräsentationsmodelle, die für nachgelagerte Computer-Vision-Aufgaben angepasst werden können. Das Framework enthält Tools für semi-überwachte Bildklassifizierung, die große ungelabelte Datensätze mit kleinen gelabelten Sets kombiniert, um die Genauigkeit zu verbessern. Es bietet zudem ein Linear-Probe-Evaluierungstool, um die Qualität gelernter Bildmerkmale zu bewerten, indem ein einfacher linearer Klassifikator auf Basis eingefrorener Repräsentationen trainiert wird. Die Codebasis deckt verteiltes Deep-Learning-Training und Hardwarebeschleunigung ab, um große Batch-Größen zu handhaben, neben Optimierungsprimitiven wie Cosine-Decay-Learning-Rate-Scheduling und Weight-Decay-Regularisierung. Sie bietet zudem Dienstprogramme für das Modellmanagement, einschließlich der Konvertierung vortrainierter Checkpoints zwischen verschiedenen Deep-Learning-Framework-Formaten und Tools für das Model-Deployment. Die Implementierung wird als Sammlung von Jupyter Notebooks bereitgestellt.

DeepLearningZeroToAll ist eine umfassende Bildungsressource und Implementierungssammlung mit Fokus auf Deep Learning und Machine Learning. Sie bietet einen strukturierten Lernpfad unter Verwendung von TensorFlow, um von grundlegenden linearen Modellen zu komplexen neuronalen Netzwerkarchitekturen zu gelangen. Das Projekt zeichnet sich durch seine praktischen Implementierungen verschiedener Netzwerktypen aus, darunter mehrschichtige Perzeptrone für Logikprobleme, Convolutional Neural Networks für räumliche Daten und Bilderkennung sowie Recurrent Neural Networks mit LSTM-Zellen für Zeitreihenprognosen und Zeichenfolgenvorhersagen. Es enthält zudem detaillierte Demonstrationen zur Modellregularisierung durch Batch-Normalisierung und Dropout-Techniken. Das Repository deckt ein breites Spektrum an Funktionen ab, einschließlich überwachtem Machine Learning mit linearer und logistischer Regression, Data Engineering für Tensor-Manipulation und Skalierung sowie Modelloptimierung durch Gradient Descent und manuelle Backpropagation-Berechnungen. Es enthält zudem Tools für die Modellevaluierung, Persistenz von Gewichten und Trainings-Observability durch Kostenfunktionsvisualisierung und Metrik-Logging. Die Inhalte werden über eine Reihe von Jupyter Notebooks vermittelt.