26 रिपॉजिटरी
Awesome GitHub RepositoriesBatch Normalization
Techniques for normalizing layer inputs to stabilize training in deep neural networks.
Distinguishing note: Focuses on input normalization during training rather than general model optimization.
Explore 26 awesome GitHub repositories matching artificial intelligence & ml · Batch Normalization. Refine with filters or upvote what's useful.
Awesome Batch Normalization GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- exacity/deeplearningbook-chinese
exacity/deeplearningbook-chinese
37,285GitHub पर देखेंThis project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i
Provides educational content on techniques for normalizing layer inputs to stabilize deep neural network training.
TeX - d2l-ai/d2l-en
d2l-ai/d2l-en
29,001GitHub पर देखेंThis project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex
Stabilizes training and accelerates convergence by normalizing layer inputs using batch statistics.
Pythonbookcomputer-visiondata-science - fastai/fastai
fastai/fastai
27,862GitHub पर देखेंFastai is a high-level deep learning library built on PyTorch that provides a unified interface for managing the entire machine learning lifecycle. It functions as a comprehensive training toolkit, abstracting hardware management and automating complex training loops to simplify the construction and execution of neural network models. The framework is distinguished by its notebook-centric development environment and a type-dispatching data pipeline that automatically applies transformations based on input data formats. It emphasizes transfer learning through discriminative layer-wise optimiza
Freezes batch normalization statistics during training to maintain stable model behavior during fine-tuning.
Jupyter Notebookcolabdeep-learningfastai - ssloy/tinyrenderer
ssloy/tinyrenderer
23,252GitHub पर देखेंTinyrenderer is a C++ library designed as an educational tool for building a 3D graphics pipeline from scratch. It provides a software-defined rendering environment that executes all geometric transformations and rasterization tasks on the central processor, intentionally avoiding reliance on external hardware acceleration or graphics libraries. The project serves as a pedagogical resource for understanding the fundamental mathematical principles of computer graphics. It enables users to implement custom shader pipelines and core rendering techniques, such as barycentric coordinate calculatio
Ensures surface normals remain orthogonal to geometry after transformations.
C++3d3d-graphicsc-plus-plus - soumith/ganhacks
soumith/ganhacks
11,619GitHub पर देखेंThis project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co
Implements normalization using separate mini-batches for real and fake data to stabilize learning.
- nvlabs/stylegan2
NVlabs/stylegan2
11,186GitHub पर देखेंStyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag
Normalizes feature maps using weight-based scaling to remove droplet-like visual artifacts.
Python - vowpalwabbit/vowpal_wabbit
VowpalWabbit/vowpal_wabbit
8,683GitHub पर देखेंVowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s
Adjusts the influence of training examples by assigning importance weights during online learning.
C++active-learningc-plus-pluscontextual-bandits - tingsongyu/pytorch_tutorial
TingsongYu/PyTorch_Tutorial
8,018GitHub पर देखेंThis project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Implements batch normalization logic using scale, shift, and element-wise operations to stabilize deep network training.
Python - kulbear/deep-learning-coursera
Kulbear/deep-learning-coursera
7,729GitHub पर देखेंThis repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope
Normalizes layer activations using mini-batch statistics to stabilize and accelerate neural network training.
Jupyter Notebookcourseradeep-learning - carpedm20/dcgan-tensorflow
carpedm20/DCGAN-tensorflow
7,185GitHub पर देखेंThis is a TensorFlow implementation of the Deep Convolutional Generative Adversarial Network (DCGAN) architecture, providing a framework for training generative models that produce synthetic images from random noise vectors. The project implements the core DCGAN design, using transposed convolutions for upsampling, batch normalization for training stability, and leaky ReLU activations in the discriminator, all executed as static TensorFlow computation graphs. The implementation supports training on custom image datasets by accepting user-supplied image folders without requiring a predefined f
Applies batch normalization layers in both generator and discriminator to stabilize deep GAN training.
JavaScriptdcgangangenerative-model - kaiminghe/deep-residual-networks
KaimingHe/deep-residual-networks
6,738GitHub पर देखेंयह प्रोजेक्ट उच्च-सटीकता वाली इमेज रिकग्निशन के लिए डिज़ाइन किया गया एक डीप रेसिड्यूअल नेटवर्क फ्रेमवर्क और प्री-ट्रेंड PyTorch मॉडल है। यह एक न्यूरल नेटवर्क आर्किटेक्चर को लागू करता है जो ग्रेडिएंट डिग्रेडेशन के बिना बहुत गहरे मॉडल के प्रशिक्षण को सक्षम करने के लिए स्किप कनेक्शंस का उपयोग करता है। यह सिस्टम इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन और विज़ुअल डेटा सेगमेंटेशन सहित कंप्यूटर विज़न कार्यों के लिए डिज़ाइन किया गया है। इसमें ट्रांसफर लर्निंग और कस्टम इमेज डेटासेट पर मॉडल की फाइन-ट्यूनिंग का समर्थन करने के लिए ImageNet पर प्रशिक्षित वेट्स शामिल हैं। आर्किटेक्चरल डिज़ाइन रेसिड्यूअल लर्निंग ब्लॉक्स, बॉटलनेक लेयर कॉन्फ़िगरेशन और प्रशिक्षण के दौरान स्थिरता बनाए रखने के लिए बैच नॉर्मलाइज़ेशन पर केंद्रित है। फ्रेमवर्क पैरामीटर्स को कम करने और ओवरफिटिंग को रोकने के लिए ग्लोबल एवरेज पूलिंग का भी उपयोग करता है।
Implements batch normalization to stabilize training and accelerate convergence in deep residual networks.
- pkmital/tensorflow_tutorials
pkmital/tensorflow_tutorials
5,668GitHub पर देखेंयह प्रोजेक्ट शैक्षिक Jupyter Notebooks का एक संग्रह है जो TensorFlow फ्रेमवर्क का उपयोग करके न्यूरल नेटवर्क निर्माण और टेंसर ऑपरेशंस पर ट्यूटोरियल प्रदान करता है। यह मशीन लर्निंग के छात्रों के लिए एक शैक्षिक रिपॉजिटरी और इम्प्लीमेंटेशन गाइड के रूप में कार्य करता है। यह सूट विशिष्ट उन्नत आर्किटेक्चर पर केंद्रित है, जिसमें इमेज क्लासिफिकेशन के लिए कन्वेन्शनल नेटवर्क, ट्रेनिंग स्टेबिलिटी के लिए स्किप कनेक्शन वाले रेजिडुअल नेटवर्क, और जेनरेटिव मॉडलिंग व डेटा सिंथेसिस के लिए वेरिएशनल ऑटोएनकोडर शामिल हैं। इसमें फीचर एक्सट्रैक्शन और डाइमेंशनलिटी रिडक्शन करने के लिए डीनोइजिंग और डीप ऑटोएनकोडर बनाने के लिए गाइड भी शामिल हैं। रिपॉजिटरी प्रेडिक्टिव मॉडलिंग के व्यापक दायरे को कवर करती है, जिसमें निरंतर मानों और बाइनरी परिणामों की भविष्यवाणी के लिए लीनियर, पॉलिनोमियल और लॉजिस्टिक रिग्रेशन के इम्प्लीमेंटेशन शामिल हैं।
Implements batch normalization techniques to stabilize training in deep neural networks.
Jupyter Notebook - mosaicml/composer
mosaicml/composer
5,485GitHub पर देखेंComposer एक PyTorch डिस्ट्रिब्यूटेड ट्रेनिंग फ्रेमवर्क है जिसे मल्टी-नोड GPU क्लस्टर में बड़े पैमाने के मॉडल को स्केल करने के लिए डिज़ाइन किया गया है। यह एक लार्ज लैंग्वेज मॉडल ट्रेनर, डिस्ट्रिब्यूटेड मॉडल ऑप्टिमाइज़र और ट्रेनिंग लाइफसाइकिल मैनेजर के रूप में कार्य करता है। यह प्रोजेक्ट एक डीप लर्निंग रेगुलराइजेशन लाइब्रेरी के रूप में खुद को अलग करता है, जो मॉडल सामान्यीकरण (generalization) को बेहतर बनाने के लिए Sharpness Aware Minimization, MixUp और CutMix जैसी विशेष ऑप्टिमाइज़ेशन तकनीकें प्रदान करता है। यह सीक्वेंस लेंथ वार्मअप, प्रोग्रेसिव लेयर फ्रीजिंग और बड़े पैमाने पर मॉडल रिकवरी के लिए शार्डेड-स्टेट चेकपॉइंटिंग के उपयोग के माध्यम से अपने ट्रेनिंग फ्लो को और अलग करता है। यह फ्रेमवर्क डिस्ट्रिब्यूटेड ट्रेनिंग ऑर्केस्ट्रेशन, मिक्स्ड-प्रिसिजन हार्डवेयर मैनेजमेंट और क्लाउड-नेटिव डेटा स्ट्रीमिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह GPU मेमोरी डायग्नोस्टिक्स, ट्रेनिंग डाइवर्जेंस डिटेक्शन और थ्रूपुट ट्रैकिंग के लिए व्यापक मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल भी प्रदान करता है। इस प्रोजेक्ट में नोड्स के बीच मल्टी-GPU ट्रेनिंग जॉब्स के निष्पादन को स्वचालित करने के लिए एक कमांड-लाइन लॉन्चर शामिल है।
Implements small batch normalization simulation by splitting inputs into smaller chunks to mimic specific batch size effects.
Python - flashlight/flashlight
flashlight/flashlight
5,443GitHub पर देखेंFlashlight एक स्टैंडअलोन C++ मशीन लर्निंग लाइब्रेरी और टेंसर लाइब्रेरी है जिसका उपयोग न्यूरल नेटवर्क बनाने और ट्रेन करने के लिए किया जाता है। यह एक व्यापक न्यूरल नेटवर्क फ्रेमवर्क और ऑटोमैटिक डिफरेंशिएशन इंजन के रूप में कार्य करता है, जो कम्प्यूटेशन ग्राफ बनाने और बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए उपकरण प्रदान करता है। यह प्रोजेक्ट एक वितरित ट्रेनिंग फ्रेमवर्क के रूप में कार्य करता है, जो कई कंप्यूट नोड्स और डिवाइसेस पर ग्रेडिएंट्स और पैरामीटर्स को सिंक्रोनाइज़ करने के लिए ऑल-रिड्यूस ऑपरेशन्स का उपयोग करता है। यह उच्च-प्रदर्शन टेंसर मैनिपुलेशन, नेटिव डिवाइस मेमोरी इंटरऑपरेबिलिटी और बड़े पैमाने पर मॉडल ट्रेनिंग को गति देने के लिए वितरित वर्कर्स में वेट्स को सिंक्रोनाइज़ करने के सिस्टम के गहरे एकीकरण के माध्यम से खुद को अलग करता है। यह फ्रेमवर्क रेजिडुअल ब्लॉक्स और रिकरेंट सेल्स जैसे जटिल आर्किटेक्चर को डिज़ाइन करने के लिए मॉड्यूलर लेयर कंपोज़िशन सहित डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मॉडल स्टेट्स को बनाए रखने के लिए सीरियलाइजेशन सिस्टम के साथ-साथ इनजेशन और प्रीफेचिंग के लिए व्यापक डेटा प्रबंधन यूटिलिटीज प्रदान करता है। इसके अतिरिक्त, इसमें ट्रेनिंग मेट्रिक्स को ट्रैक करने और सीक्वेंस एरर्स को मापने के लिए मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल्स का एक सूट शामिल है। यह लाइब्रेरी C++ में इम्प्लीमेंट की गई है।
Implements batch normalization to rescale input tensors using mean and variance to accelerate training.
C++ - zhaochenyang20/awesome-ml-sys-tutorial
zhaochenyang20/Awesome-ML-SYS-Tutorial
5,371GitHub पर देखेंThis project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr
Adjusts importance ratios across batches to maintain a consistent mean, stabilizing learning rates.
Python - gfxfundamentals/webgl-fundamentals
gfxfundamentals/webgl-fundamentals
5,004GitHub पर देखेंwebgl-fundamentals is a comprehensive educational resource and graphics tutorial for learning hardware-accelerated 2D and 3D rendering using the WebGL API. It serves as a structured 3D graphics curriculum and GPU programming reference, guiding users through the graphics pipeline from basic geometry to advanced rendering techniques. The project provides detailed guides on GLSL shader development, including the creation of vertex and fragment shaders. It specifically focuses on the implementation of real-time lighting models—such as directional, point, and spot lighting—and the application of s
Adjusts surface normal vectors using inverse transpose matrices to maintain perpendicularity during non-uniform scaling.
HTML3d3d-mathglsl - fastai/course-v3
fastai/course-v3
4,914GitHub पर देखेंयह रिपॉजिटरी एक व्यापक शैक्षिक कार्यक्रम और डीप लर्निंग फ्रेमवर्क है, जिसे नोटबुक और कोड उदाहरणों के माध्यम से PyTorch का उपयोग करके व्यावहारिक डीप लर्निंग सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और डिप्लॉय करने के लिए एक हाई-लेवल लाइब्रेरी के रूप में कार्य करता है। यह प्रोजेक्ट कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और टैबुलर डेटा प्रीप्रोसेसिंग के लिए विशेष टूलकिट प्रदान करता है। यह डिस्क्रिमिनेटिव लर्निंग रेट्स, ट्रेनिंग लॉजिक को कस्टमाइज़ करने के लिए टू-वे कॉलबैक सिस्टम और हाई-लेवल लर्नर एब्स्ट्रैक्शन जैसे उन्नत ट्रेनिंग कंट्रोल्स के माध्यम से खुद को अलग करता है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में उपलब्ध है।
Prevents batch normalization layers from updating statistics during transfer learning.
Jupyter Notebookdata-sciencedeep-learningfastai - ai-dawang/plugnplay-modules
ai-dawang/PlugNPlay-Modules
4,968GitHub पर देखेंPlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural
Provides batch normalization layers to stabilize training in deep neural networks.
Python - google-research/simclr
google-research/simclr
4,502GitHub पर देखेंयह प्रोजेक्ट एक स्व-पर्यवेक्षित कंट्रास्टिव लर्निंग फ्रेमवर्क है जिसे मानव-प्रदत्त लेबल का उपयोग किए बिना छवियों से विज़ुअल प्रतिनिधित्व सीखने के लिए डीप लर्निंग मॉडल को प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह प्रीट्रेन्ड विज़ुअल प्रतिनिधित्व मॉडल विकसित करने के लिए एक प्रणाली प्रदान करता है जिसे डाउनस्ट्रीम कंप्यूटर विज़न कार्यों के लिए अनुकूलित किया जा सकता है। इस फ्रेमवर्क में अर्ध-पर्यवेक्षित छवि वर्गीकरण के लिए टूल शामिल हैं, जो सटीकता में सुधार के लिए बड़े लेबल रहित डेटासेट को छोटे लेबल वाले सेट के साथ जोड़ते हैं। इसमें फ्रोजन अभ्यावेदन के शीर्ष पर एक सरल रैखिक क्लासिफायर को प्रशिक्षित करके सीखे गए छवि सुविधाओं की गुणवत्ता का आकलन करने के लिए एक रैखिक जांच मूल्यांकन टूल भी शामिल है। कोडबेस बड़े बैच आकारों को संभालने के लिए वितरित डीप लर्निंग प्रशिक्षण और हार्डवेयर त्वरण को कवर करता है, साथ ही कोसाइन-डिके लर्निंग रेट शेड्यूलिंग और वेट-डिके रेगुलराइजेशन जैसे ऑप्टिमाइज़ेशन प्रिमिटिव्स को भी कवर करता है। यह मॉडल प्रबंधन के लिए उपयोगिताएं भी प्रदान करता है, जिसमें विभिन्न डीप लर्निंग फ्रेमवर्क प्रारूपों के बीच प्रीट्रेन्ड चेकपॉइंट्स का रूपांतरण और मॉडल तैनाती के लिए टूल शामिल हैं। कार्यान्वयन Jupyter Notebooks के संग्रह के रूप में प्रदान किया गया है।
Computes means and variances across multiple hardware cores to ensure consistent normalization during distributed training.
Jupyter Notebookcomputer-visioncontrastive-learningrepresentation-learning - hunkim/deeplearningzerotoall
hunkim/DeepLearningZeroToAll
4,494GitHub पर देखेंDeepLearningZeroToAll is a comprehensive educational resource and implementation collection focused on deep learning and machine learning. It provides a structured learning path using TensorFlow to move from foundational linear models to complex neural network architectures. The project is distinguished by its practical implementations of various network types, including multilayer perceptrons for logic problems, convolutional neural networks for spatial data and image recognition, and recurrent neural networks using LSTM cells for time-series forecasting and character sequence prediction. It
Implements batch normalization to stabilize training and accelerate convergence in deep networks.
Jupyter Notebookkeraslabmxnet
