22 रिपॉजिटरी
Awesome GitHub RepositoriesInput Padding Utilities
Functions for adding boundary pixels to tensors to control spatial dimensions.
Distinct from Convolutional Operations: Focuses on the padding operation, whereas the parent covers general convolutional operations.
Explore 22 awesome GitHub repositories matching artificial intelligence & ml · Input Padding Utilities. Refine with filters or upvote what's useful.
Awesome Input Padding Utilities GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- exacity/deeplearningbook-chinese
exacity/deeplearningbook-chinese
37,285GitHub पर देखेंThis project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i
Explains the process of adding zero-value pixels to input boundaries to maintain spatial dimensions.
TeX - d2l-ai/d2l-en
d2l-ai/d2l-en
29,001GitHub पर देखेंThis project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex
Controls spatial expansion by configuring padding and strides in transposed convolutional operations.
Pythonbookcomputer-visiondata-science - vdumoulin/conv_arithmetic
vdumoulin/conv_arithmetic
14,623GitHub पर देखेंThis project provides a collection of visual guides, technical documentation, and animation generation tools designed to explain the mathematical mechanics of neural network layer operations. It serves as an educational resource for understanding the architecture and data mapping processes involved in deep learning. The toolset distinguishes itself by programmatically generating visual representations of standard, transposed, and dilated convolution layers. By utilizing a declarative configuration model, it maps mathematical parameters—such as kernel sizes, strides, and padding—to coordinate-
Calculates output dimensions and spatial relationships for convolution layers based on kernel, stride, and padding parameters.
TeX - huggingface/tokenizers
huggingface/tokenizers
10,825GitHub पर देखेंThis project is a high-performance library for converting raw text into tokens and IDs for machine learning models. It functions as a fast text encoder and a text preprocessing pipeline designed to transform strings into numerical representations with high throughput for research and production. The library includes a subword tokenizer trainer used to analyze text datasets and create custom vocabularies using algorithms such as byte-pair encoding and wordpiece. It provides capabilities for subword vocabulary training and text alignment, allowing character offsets to be tracked during normaliz
Provides utilities for standardizing input sequence lengths through truncation and padding with special tokens.
Rustbertgptlanguage-model - openrlhf/openrlhf
OpenRLHF/OpenRLHF
9,675GitHub पर देखेंOpenRLHF is a training framework and alignment library designed for reinforcement learning from human feedback across distributed GPU clusters. It provides tools for aligning large language models and multimodal vision-language models using algorithms such as PPO, GRPO, and DPO. The framework distinguishes itself through a distributed inference engine that overlaps sample rollout with training to increase throughput. It supports scaling to models exceeding 70 billion parameters via parameter sharding and handles long-context sequences through ring-attention sequence parallelism. The project
Includes a data loader that packs multiple short sequences into fixed-length blocks to eliminate padding waste and increase throughput.
Pythonlarge-language-modelsopenai-o1proximal-policy-optimization - facebookresearch/maskrcnn-benchmark
facebookresearch/maskrcnn-benchmark
9,370GitHub पर देखेंThis project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ
Pads images of different dimensions with zeros to create uniform tensors for efficient batching.
Python - tingsongyu/pytorch_tutorial
TingsongYu/PyTorch_Tutorial
8,018GitHub पर देखेंThis project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Implements spatial image padding to control output resolution and maintain tensor dimensions during convolution.
Python - czy36mengfei/tensorflow2_tutorials_chinese
czy36mengfei/tensorflow2_tutorials_chinese
7,786GitHub पर देखेंThis project is a collection of educational resources and instructional guides for learning deep learning and neural network implementation using TensorFlow. It provides a structured set of tutorials and notebooks written in Chinese, covering supervised and unsupervised learning tasks. The material focuses on practical implementations of diverse neural network architectures, including convolutional, recurrent, and autoencoder networks. It includes specific training content for computer vision, natural language processing, and generative models. The coverage extends to specialized network arc
Provides utilities for standardizing variable-length input sequences through padding for consistent batch processing.
Jupyter Notebook - paddlepaddle/ernie
PaddlePaddle/ERNIE
7,717GitHub पर देखेंERNIE is a development toolkit for training, fine-tuning, and deploying large language models built on the PaddlePaddle deep learning platform. It provides a comprehensive suite of core components, including an inference server for vision and language models, a training and fine-tuning toolkit, and a framework for building retrieval-augmented generation systems using private knowledge bases. The project features multimodal AI models capable of reasoning across text, images, and video to perform complex visual understanding and information extraction. It distinguishes itself through specialize
Implements techniques for concatenating multiple sequences into single tensors to minimize padding waste and optimize memory.
Pythonernieernie-45ernie-45-vl - open-mmlab/mmcv
open-mmlab/mmcv
6,446GitHub पर देखेंmmcv is a foundation library for computer vision based on PyTorch. It provides a comprehensive system for constructing convolutional neural networks, a toolkit for image and video preprocessing, and a collection of high-performance deep learning vision operators. The project is distinguished by its hardware-accelerated kernels for complex operations such as deformable convolutions and region pooling. It features a configuration-driven framework that allows for the dynamic instantiation of network layers and the registration of custom modules without modifying code. The library covers a broad
Provides utilities to pad image tensors for uniform dimensions during batch processing.
Python - timeseriesai/tsai
timeseriesAI/tsai
6,081GitHub पर देखेंtsai एक डीप लर्निंग लाइब्रेरी है जो टाइम सीरीज क्लासिफिकेशन, रिग्रेशन और फोरकास्टिंग के लिए बनाई गई है। PyTorch और fastai पर आधारित, यह सीक्वेंशियल डेटा को लेबल करने, यूनिवेरिएट या मल्टीवेरिएट सीक्वेंस में भविष्य के मानों का अनुमान लगाने और सेल्फ-सुपरवाइज्ड लर्निंग के जरिए अनलेबल डेटा पर रिप्रेजेंटेशन ट्रेन करने के लिए एक फ्रेमवर्क प्रदान करती है। यह लाइब्रेरी अपनी विशेष टेम्पोरल इंजीनियरिंग और स्केलिंग क्षमताओं के लिए जानी जाती है। इसमें मौसमी पैटर्न को कैप्चर करने के लिए साइक्लिकल टेम्पोरल एन्कोडिंग और उपलब्ध मेमोरी से बड़े डेटासेट को प्रोसेस करने के लिए ऑनलाइन विंडो स्लाइसिंग जैसे टूल्स शामिल हैं। यह मल्टीमॉडल इनपुट पाइपलाइनों को भी सपोर्ट करती है जो स्टेटिक कैटेगोरिकल फीचर्स को डायनामिक कंटीन्यूअस सीक्वेंस के साथ जोड़ती हैं। यह टूलकिट प्रीप्रोसेसिंग और इवैल्यूएशन की जरूरतों को पूरा करती है, जिसमें स्लाइडिंग विंडो सेगमेंटेशन, मिसिंग डेटा इम्प्यूटेशन और टैबुलर डेटाफ्रेम को स्ट्रक्चर्ड टेंसर्स में बदलना शामिल है। मॉडल के प्रदर्शन का आकलन वॉक-फॉरवर्ड वैलिडेशन और फीचर इम्पॉर्टेंस एनालिसिस के जरिए किया जाता है ताकि टेम्पोरल कंसिस्टेंसी सुनिश्चित हो सके।
Implements utilities to standardize input sequence lengths and identify padding to separate structural filler from actual time series data.
Jupyter Notebook - meta-pytorch/torchtune
meta-pytorch/torchtune
5,774GitHub पर देखेंTorchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip
Packs multiple dataset samples into single sequences to reduce padding overhead during training.
Python - pytorch/torchtune
pytorch/torchtune
5,774GitHub पर देखेंTorchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo
Packs multiple training samples into single sequences to minimize padding waste and maximize throughput.
Python - wb14123/seq2seq-couplet
wb14123/seq2seq-couplet
5,491GitHub पर देखेंयह प्रोजेक्ट पारंपरिक चीनी युगल (couplets) बनाने के लिए डिज़ाइन किया गया एक डीप लर्निंग कविता जनरेटर है। यह इनपुट टेक्स्ट अनुक्रमों को मिलान आउटपुट अनुक्रमों में मैप करने के लिए एक अनुक्रम-से-अनुक्रम (sequence-to-sequence) न्यूरल नेटवर्क आर्किटेक्चर का उपयोग करता है, जो एक टेक्स्ट जनरेशन मॉडल और एक इन्फ़रेंस वेब सेवा के रूप में कार्य करता है। इस सिस्टम में एक न्यूरल टेक्स्ट रैंकिंग तंत्र है जो संरचनात्मक अलाइनमेंट सुनिश्चित करने के लिए लंबाई स्थिरता और वर्ण पैटर्न्स के आधार पर उम्मीदवार आउटपुट का मूल्यांकन करता है। इसमें एक कंटेंट फ़िल्टरिंग प्रक्रिया भी शामिल है जो संवेदनशील या अनुपयुक्त सामग्री को हटाने के लिए निषिद्ध शब्द सूचियों के विरुद्ध उत्पन्न टेक्स्ट को स्कैन करती है। व्यापक क्षमता सतह में डेटा तैयारी के लिए एक टेक्स्ट टोकनाइज़ेशन पाइपलाइन और JSON के माध्यम से मॉडल भविष्यवाणियों की सेवा के लिए एक RESTful इंटरफ़ेस शामिल है। यह प्रोजेक्ट मशीन लर्निंग लाइफ़साइकिल को भी कवर करता है, जिसमें मॉडल वेट ऑप्टिमाइज़ेशन, ट्रेनिंग और वैलिडेशन डेटासेट के विरुद्ध परफ़ॉर्मेंस इवैल्यूएशन शामिल है।
Standardizes input sequence lengths using placeholder tokens to ensure uniform batch dimensions.
Python - zhaochenyang20/awesome-ml-sys-tutorial
zhaochenyang20/Awesome-ML-SYS-Tutorial
5,371GitHub पर देखेंThis project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr
Combines sequences of varying lengths into continuous vectors to eliminate computational waste from padding.
Python - hiyouga/easyr1
hiyouga/EasyR1
5,034GitHub पर देखेंEasyR1 एक डिस्ट्रीब्यूटेड मॉडल ट्रेनिंग सिस्टम और लार्ज लैंग्वेज व विज़न-लैंग्वेज मॉडल के लिए रीइन्फोर्समेंट लर्निंग फ़्रेमवर्क है। यह एक मल्टीमॉडल ट्रेनर और Proximal Policy Optimization पाइपलाइन का कार्यान्वयन है जिसे उन मॉडल्स की तर्क और धारणा क्षमताओं को परिष्कृत करने के लिए डिज़ाइन किया गया है जो टेक्स्ट और इमेज दोनों को प्रोसेस करते हैं। यह सिस्टम उच्च मेमोरी आवश्यकताओं को प्रबंधित करने के लिए कई कंप्यूट नोड्स में रीइन्फोर्समेंट लर्निंग वर्कलोड को वितरित करने में माहिर है। यह पैडिंग-मुक्त ट्रेनिंग और फ़ाइन-ट्यूनिंग के माध्यम से हार्डवेयर उपयोग को ऑप्टिमाइज़ करता है ताकि बड़े मॉडल्स को उपलब्ध ग्राफिक्स प्रोसेसिंग यूनिट्स पर फिट किया जा सके। यह फ़्रेमवर्क रीइन्फोर्समेंट लर्निंग और रिवॉर्ड मॉडल ऑर्केस्ट्रेशन को कवर करता है, जिसमें ह्यूमन फीडबैक वर्कफ़्लो से रीइन्फोर्समेंट लर्निंग शामिल है। इसकी तकनीकी सतह में डिस्ट्रीब्यूटेड डेटा पैरेललिज्म, हाइब्रिड प्रिसिजन ट्रेनिंग और इंटरलीव्ड टेक्स्ट व इमेज डेटा के लिए मल्टीमॉडल इनपुट पाइपलाइन शामिल हैं। इस प्रोजेक्ट में चेकपॉइंट-आधारित स्टेट रिकवरी के लिए यूटिलिटीज शामिल हैं और यह ट्रेनिंग की प्रगति और प्रदर्शन मेट्रिक्स को ट्रैक करने के लिए बाहरी लॉगिंग टूल्स के साथ एकीकृत होता है।
Packs variable-length sequences into single dense tensors to eliminate wasteful compute cycles during training.
Python - nyandwi/machine_learning_complete
Nyandwi/machine_learning_complete
4,983GitHub पर देखेंThis is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi
Standardizes input sequence lengths using truncation or padding with special tokens.
Jupyter Notebookcomputer-visiondata-analysisdata-science - fastai/course-v3
fastai/course-v3
4,914GitHub पर देखेंयह रिपॉजिटरी एक व्यापक शैक्षिक कार्यक्रम और डीप लर्निंग फ्रेमवर्क है, जिसे नोटबुक और कोड उदाहरणों के माध्यम से PyTorch का उपयोग करके व्यावहारिक डीप लर्निंग सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और डिप्लॉय करने के लिए एक हाई-लेवल लाइब्रेरी के रूप में कार्य करता है। यह प्रोजेक्ट कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और टैबुलर डेटा प्रीप्रोसेसिंग के लिए विशेष टूलकिट प्रदान करता है। यह डिस्क्रिमिनेटिव लर्निंग रेट्स, ट्रेनिंग लॉजिक को कस्टमाइज़ करने के लिए टू-वे कॉलबैक सिस्टम और हाई-लेवल लर्नर एब्स्ट्रैक्शन जैसे उन्नत ट्रेनिंग कंट्रोल्स के माध्यम से खुद को अलग करता है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में उपलब्ध है।
Adds padding tokens to text tensors to ensure uniform sequence lengths within a batch.
Jupyter Notebookdata-sciencedeep-learningfastai - imazen/imageflow
imazen/imageflow
4,402GitHub पर देखेंImageflow is a high-performance image manipulation library and composition engine available as a C-compatible library, a command-line image processor, and a dynamic image processing server. It provides the means to decode, encode, and apply complex visual transformations to images through programmatic interfaces, JSON job files, or on-the-fly URL query strings. The system distinguishes itself through a graph-based processing pipeline that allows for single-pass multi-format encoding, generating multiple image sizes and formats from a single decode to reduce overhead. It further features a res
Provides capabilities to extract rectangular areas using pixel or percentage coordinates while adding padding.
Rustimage-compressionimage-manipulationimage-server - morelinq/morelinq
morelinq/MoreLINQ
3,827GitHub पर देखेंMoreLINQ is a functional programming toolkit and extension library for .NET that augments LINQ to Objects with advanced operators for sequence manipulation and analysis. It provides a set of tools for declarative data transformation, leveraging lazy evaluation and composition to handle complex object sequences. The library is distinguished by its specialized capabilities for combinatorial generation, including the production of permutations, subsets, and Cartesian products. It also provides advanced sequence joining options, such as full, left, and right outer joins, and supports complex data
Adds default values to the start or end of a sequence to reach a minimum specified width.
C#dotnetlinq
