Awesome GitHub RepositoriesBatch Normalization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Fastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza

Tinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

This is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f

Acest proiect oferă un framework de rețele reziduale adânci și modele PyTorch pre-antrenate, concepute pentru recunoașterea imaginilor cu precizie ridicată. Implementează o arhitectură de rețea neuronală care utilizează conexiuni de tip skip pentru a permite antrenarea unor modele foarte adânci fără degradarea gradientului. Sistemul este conceput pentru sarcini de viziune computerizată, inclusiv clasificarea imaginilor, detectarea obiectelor și segmentarea datelor vizuale. Include ponderi antrenate pe ImageNet pentru a susține transfer learning-ul și ajustarea fină (fine-tuning) a modelelor pe seturi de date de imagini personalizate. Designul arhitectural se concentrează pe blocuri de învățare reziduală, configurații de straturi bottleneck și normalizarea batch-urilor pentru a menține stabilitatea în timpul antrenamentului. Framework-ul utilizează, de asemenea, global average pooling pentru a reduce numărul de parametri și a preveni overfitting-ul.

Acest proiect este o colecție de Jupyter Notebooks educaționale care oferă tutoriale despre construcția rețelelor neuronale și operații cu tensori folosind framework-ul TensorFlow. Servește drept depozit educațional de machine learning și ghid de implementare pentru studenții pasionați de deep learning. Suita se concentrează pe arhitecturi avansate specifice, inclusiv rețele convoluționale pentru clasificarea imaginilor, rețele reziduale cu conexiuni de tip skip pentru stabilitatea antrenamentului și autoencodere variaționale pentru modelare generativă și sinteza datelor. Include, de asemenea, ghiduri pentru construirea de autoencodere de tip denoising și deep pentru extragerea caracteristicilor și reducerea dimensionalității. Depozitul acoperă o arie mai largă de modelare predictivă, cu implementări de regresie liniară, polinomială și logistică pentru predicția valorilor continue și a rezultatelor binare. Conținutul este organizat în notebook-uri interactive care permit utilizatorilor să execute operații matematice și să modifice experimentele de machine learning.

Composer este un framework de antrenare distribuită PyTorch conceput pentru scalarea modelelor de mari dimensiuni pe clustere GPU multi-nod. Acesta funcționează ca un antrenor de modele lingvistice mari (LLM), un optimizator de modele distribuite și un manager al ciclului de viață al antrenării. Proiectul se diferențiază ca o bibliotecă de regularizare pentru deep learning, oferind tehnici de optimizare specializate precum Sharpness Aware Minimization, MixUp și CutMix pentru a îmbunătăți generalizarea modelului. De asemenea, distinge fluxul de antrenare prin utilizarea warmup-ului pentru lungimea secvenței, înghețarea progresivă a straturilor și checkpointing-ul stării sharded pentru recuperarea modelelor la scară largă. Framework-ul acoperă o suprafață largă de capabilități, inclusiv orchestrarea antrenării distribuite, gestionarea hardware-ului cu precizie mixtă și streaming-ul de date cloud-native. Oferă, de asemenea, instrumente extinse de monitorizare și observabilitate pentru diagnosticarea memoriei GPU, detectarea divergenței antrenării și urmărirea throughput-ului. Proiectul include un launcher CLI pentru automatizarea execuției joburilor de antrenare multi-GPU pe mai multe noduri.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

webgl-fundamentals este o resursă educațională cuprinzătoare și un tutorial grafic pentru învățarea randării 2D și 3D accelerate hardware folosind API-ul WebGL. Servește drept curriculum structurat de grafică 3D și referință de programare GPU, ghidând utilizatorii prin pipeline-ul grafic de la geometria de bază la tehnici avansate de randurare. Proiectul oferă ghiduri detaliate despre dezvoltarea shaderelor GLSL, inclusiv crearea de shadere de vertex și fragment. Se concentrează în mod specific pe implementarea modelelor de iluminare în timp real—cum ar fi iluminarea direcțională, punctuală și spot—și aplicarea fluxurilor de lucru de shadow mapping și texture mapping. Resursa acoperă o gamă largă de capabilități de grafică pe calculator, inclusiv matematică spațială 3D, implementarea sistemelor de camere pentru vederi perspective și ortografice, și utilizarea transformărilor matriciale. Include, de asemenea, instrucțiuni pentru efectuarea de calcule GPU de uz general (GPGPU) și optimizarea performanței de randurare prin vertex-uri indexate.

Acest proiect este un program educațional cuprinzător și un framework de deep learning conceput pentru a preda deep learning practic folosind PyTorch prin notebook-uri și exemple de cod. Servește drept bibliotecă de nivel înalt pentru construirea, antrenarea și implementarea rețelelor neuronale, acționând ca un orchestrator de antrenare a modelelor care coordonează modelele PyTorch, optimizatoarele și funcțiile de loss. Proiectul oferă toolkit-uri specializate pentru computer vision, procesarea limbajului natural și preprocesarea datelor tabelare. Se distinge prin controale avansate de antrenare, cum ar fi rate de învățare discriminative, un sistem de callback bidirecțional pentru personalizarea logicii de antrenare și o abstractizare de nivel înalt a learner-ului care automatizează plasarea pe dispozitiv și buclele de antrenare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția automată a pipeline-urilor de date, analiza arhitecturii modelelor și evaluarea performanței în sarcini de clasificare, regresie și segmentare. Include, de asemenea, utilitare pentru antrenarea distribuită pe mai multe GPU-uri, antrenarea cu precizie mixtă pentru optimizarea memoriei și suport specializat pentru date de imagistică medicală. Proiectul este livrat sub formă de serie de Jupyter Notebooks.

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Acest proiect este un framework de învățare contrastivă auto-supervizată conceput pentru a antrena modele de deep learning să învețe reprezentări vizuale din imagini fără a utiliza etichete furnizate de oameni. Oferă un sistem pentru dezvoltarea modelelor de reprezentare vizuală pre-antrenate care pot fi adaptate pentru sarcini de computer vision downstream. Framework-ul include instrumente pentru clasificarea imaginilor semi-supervizată, care combină seturi mari de date neetichetate cu seturi mici etichetate pentru a îmbunătăți acuratețea. Dispune, de asemenea, de un instrument de evaluare linear probe pentru a evalua calitatea funcționalităților vizuale învățate prin antrenarea unui clasificator linear simplu peste reprezentările înghețate. Codul sursă acoperă antrenarea distribuită de deep learning și accelerarea hardware pentru a gestiona dimensiuni mari de batch-uri, alături de primitive de optimizare precum programarea ratei de învățare cosine-decay și regularizarea weight-decay. Oferă, de asemenea, utilitare pentru gestionarea modelelor, inclusiv conversia checkpoint-urilor pre-antrenate între diferite formate de framework-uri de deep learning și instrumente pentru implementarea modelelor. Implementarea este furnizată ca o colecție de Jupyter Notebooks.

DeepLearningZeroToAll este o resursă educațională cuprinzătoare și o colecție de implementări axată pe deep learning și machine learning. Oferă o cale de învățare structurată folosind TensorFlow pentru a trece de la modele liniare fundamentale la arhitecturi complexe de rețele neuronale. Proiectul se distinge prin implementările sale practice ale diverselor tipuri de rețele, inclusiv perceptroni multistrat pentru probleme de logică, rețele neuronale convoluționale pentru date spațiale și recunoașterea imaginilor, și rețele neuronale recurente folosind celule LSTM pentru prognoza seriilor temporale și predicția secvențelor de caractere. Include, de asemenea, demonstrații detaliate ale regularizării modelelor prin tehnici de batch normalization și dropout. Repository-ul acoperă o gamă largă de capabilități, inclusiv machine learning supervizat cu regresie liniară și logistică, ingineria datelor pentru manipularea și scalarea tensorilor și optimizarea modelelor prin gradient descent și calcule manuale de backpropagation. Include, de asemenea, instrumente pentru evaluarea modelelor, persistența ponderilor și observabilitatea antrenării prin vizualizarea funcției de cost și logarea metricilor. Conținutul este livrat printr-o serie de Jupyter Notebooks.