22 रिपॉजिटरी
Awesome GitHub RepositoriesTraining Dataset Processing
Pipelines for batching and processing large-scale datasets specifically for model training.
Distinct from Cloud Batch Processing: The candidates are focused on audio, images, or generic cloud batching; this is specific to ML training data like JSONL
Explore 22 awesome GitHub repositories matching artificial intelligence & ml · Training Dataset Processing. Refine with filters or upvote what's useful.
Awesome Training Dataset Processing GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- aws/amazon-sagemaker-examples
aws/amazon-sagemaker-examples
10,958GitHub पर देखेंThis repository is a collection of Jupyter notebooks providing reference implementations and templates for building, training, and deploying machine learning models using Amazon SageMaker. It serves as an example library for implementing model architectures and automating the machine learning lifecycle. The library provides practical patterns for machine learning training, data engineering, and model deployment. It includes implementation guides for MLOps, including workflows for model monitoring, lineage tracking, and hyperparameter tuning. The examples cover a broad range of capabilities i
Transforms and cleans large datasets using distributed computing tools to prepare high-quality features for training.
Jupyter Notebookawsdata-sciencedeep-learning - lyhue1991/eat_tensorflow2_in_30_days
lyhue1991/eat_tensorflow2_in_30_days
9,933GitHub पर देखेंThis project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque
Provides pipelines for batching and processing large-scale datasets specifically for model training.
Pythontensorflowtensorflow-examplestensorflow-tutorial - openpipe/art
OpenPipe/ART
8,630GitHub पर देखेंART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin
Processes high-volume training data from JSONL files using automated batching and learning rate schedules.
Pythonagentagentic-aigrpo - kulbear/deep-learning-coursera
Kulbear/deep-learning-coursera
7,729GitHub पर देखेंThis repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope
Covers mini-batch gradient descent optimization for processing training data in small groups to speed up iterations.
Jupyter Notebookcourseradeep-learning - eleutherai/gpt-neox
EleutherAI/gpt-neox
7,392GitHub पर देखेंgpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran
Handles training, validation, and test data paths with support for weighted sampling from multiple sources.
Pythondeepspeed-librarygpt-3language-model - rasbt/python-machine-learning-book-2nd-edition
rasbt/python-machine-learning-book-2nd-edition
7,194GitHub पर देखेंThis project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili
Executes cleaning and dimensionality reduction workflows to prepare raw datasets for model training.
Jupyter Notebookdata-sciencedeep-learningmachine-learning - gojek/feast
gojek/feast
7,095GitHub पर देखेंFeast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr
Generates point-in-time correct historical datasets for machine learning training while preventing data leakage.
Python - open-mmlab/mmdetection3d
open-mmlab/mmdetection3d
6,273GitHub पर देखेंMMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate
Provides a pipeline for training 3D detection models on custom point cloud datasets with user-provided annotations.
Python3d-object-detectionobject-detectionpoint-cloud - lyhue1991/eat_pytorch_in_20_days
lyhue1991/eat_pytorch_in_20_days
6,157GitHub पर देखेंयह प्रोजेक्ट एक डीप लर्निंग ट्यूटोरियल सीरीज़ और शैक्षिक पाठ्यक्रम है जिसे PyTorch के मूल सिद्धांतों को सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क आर्किटेक्चर, ऑटोमैटिक डिफरेंशिएशन, और टेंसर व डायनामिक कंप्यूटेशन ग्राफ़ के उपयोग में महारत हासिल करने के लिए एक संरचित प्रशिक्षण गाइड के रूप में कार्य करता है। पाठ्यक्रम व्यावहारिक इम्प्लीमेंटेशन पर केंद्रित है, विशेष रूप से उपयोगकर्ता प्राथमिकताओं की भविष्यवाणी करने के लिए अनुशंसा प्रणालियों, विज्ञापन मॉडल और रुचि नेटवर्क के विकास का मार्गदर्शन करता है। यह टाइम सीरीज़ फ़ोरकास्टिंग और अनुक्रमिक डेटा को प्रोसेस करने के लिए निर्देशात्मक कंटेंट भी प्रदान करता है। सामग्री डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है, जिसमें छवि और टेक्स्ट क्लासिफिकेशन के साथ-साथ स्ट्रक्चर्ड डेटा के लिए मॉडल का निर्माण शामिल है। यह GPU एक्सेलेरेशन, ट्रेनिंग मेट्रिक विज़ुअलाइज़ेशन और मॉडल प्रेडिक्शन्स का परीक्षण करने के लिए वेब-आधारित इंटरफ़ेस बनाने के लिए वर्कफ़्लो को शामिल करता है। प्रोजेक्ट Jupyter Notebooks के संग्रह के रूप में वितरित किया जाता है।
Teaches how to organize raw datasets into shuffled mini-batches for efficient training.
Jupyter Notebookdeep-learningpytorch - online-ml/river
online-ml/river
5,853GitHub पर देखेंRiver ऑनलाइन मशीन लर्निंग के लिए एक Python फ़्रेमवर्क है, जिसे स्ट्रीमिंग डेटा पर मॉडल को ट्रेन और इवैल्यूएट करने के लिए डिज़ाइन किया गया है। यह एक बार में एक ऑब्ज़र्वेशन के साथ मॉडल पैरामीटर्स को अपडेट करके इंक्रीमेंटल लर्निंग को सक्षम बनाता है, जिससे मेमोरी में पूर्ण ट्रेनिंग डेटासेट को स्टोर करने की आवश्यकता समाप्त हो जाती है। यह लाइब्रेरी एक डेडिकेटेड कॉन्सेप्ट ड्रिफ्ट डिटेक्शन सिस्टम के माध्यम से खुद को अलग करती है जो मॉडल एडॉप्टेशन को ट्रिगर करने के लिए डेटा वितरण में परिवर्तनों की निगरानी करता है। यह एक प्रोग्रेसिव वैलिडेशन फ़्रेमवर्क भी प्रदान करती है जो ट्रेनिंग के लिए उपयोग करने से पहले सैंपल्स पर मॉडल का परीक्षण करके रीयल-टाइम डिप्लॉयमेंट को सिम्युलेट करता है। यह सिस्टम रीयल-टाइम फ़ीचर इंजीनियरिंग, टाइम सीरीज़ फ़ोरकास्टिंग और ऑनलाइन एनोमली डिटेक्शन सहित स्ट्रीमिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह इंक्रीमेंटल क्लस्टरिंग और डिसीजन ट्री के माध्यम से अनसुपरवाइज़्ड लर्निंग, साथ ही मॉडल चयन के लिए एन्सेम्बल एग्रीगेशन और बैंडिट नीतियों का समर्थन करता है। इस प्रोजेक्ट में CSV फ़ाइलों और API जैसे स्रोतों से स्ट्रीमिंग डेटा इनजेशन के लिए यूटिलिटीज़, साथ ही रनिंग आँकड़ों और मेमोरी-कुशल डेटा स्केच की गणना करने के लिए टूल शामिल हैं।
Handles small groups of observations using data frames to balance batch efficiency with online learning requirements.
Python - meta-pytorch/torchtune
meta-pytorch/torchtune
5,774GitHub पर देखेंTorchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip
Supports fine-tuning on custom instruct, chat, and preference datasets with full-parameter or LoRA methods.
Python - huggingface/alignment-handbook
huggingface/alignment-handbook
5,621GitHub पर देखेंThis project is an alignment framework and suite of pipelines for training language models using supervised fine-tuning and preference optimization. It provides tools for executing large-scale distributed training across multiple GPUs and compute nodes, alongside a system for measuring model helpfulness and dialogue quality through single-turn and multi-turn benchmarks. The framework includes specialized tools for direct preference optimization to refine model behavior using paired data without a separate reward model. It also supports constitutional AI alignment and the training of reward mo
Combines multiple datasets with weighted sampling and formats them into chat templates for training.
Python - sshaoshuai/pcdet
sshaoshuai/PCDet
5,621GitHub पर देखेंPCDet is a LiDAR 3D object detection toolbox and point cloud processing library built on the PyTorch deep learning framework. It provides a system for identifying and locating three-dimensional objects within point cloud data. The project utilizes a data-model separation pattern to decouple dataset loading logic from the core detection pipeline. It features a multi-sensor fusion pipeline that combines data from multiple sensors into a shared spatial view and a distributed GPU training system to scale workloads across multiple graphics processors. The toolkit covers several capability areas,
Supports the integration and training of custom point cloud datasets with specific annotations.
Python - tmelyralab/musetalk
TMElyralab/MuseTalk
5,327GitHub पर देखेंMuseTalk is a deep learning lip synchronization system designed to align video facial movements with audio tracks for high-fidelity video dubbing. It functions as an engine that matches facial expressions to audio input in real-time, enabling the modification of a speaker's lip movements to match new audio sources across different languages. The project features a distributed GPU training pipeline and a multi-stage processing workflow for refining the visual accuracy of synthetic speech. It distinguishes itself through the use of region-specific face masking and mouth openness control, which
Implements a multi-stage pipeline for extracting and aligning video frames to create structured audio-visual training datasets.
Pythonlip-syncvirtualhumans - openvla/openvla
openvla/openvla
5,305GitHub पर देखेंOpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta
Implements weighted sampling from multiple robotics datasets to control training influence.
Python - internlm/xtuner
InternLM/xtuner
5,150GitHub पर देखेंxtuner बड़े भाषा मॉडल के लिए एक व्यापक प्रशिक्षण इंजन है, जो प्री-ट्रेनिंग, सुपरवाइज्ड फाइन-ट्यूनिंग और विज़न-लैंग्वेज मल्टीमॉडल मॉडल के अनुकूलन के लिए एक टूलकिट प्रदान करता है। यह एक वितरित प्रशिक्षण त्वरक और Mixture-of-Experts मॉडल को स्केल करने और मानव फीडबैक से सुदृढीकरण शिक्षण के माध्यम से मॉडल व्यवहार को संरेखित करने के लिए एक विशेष फ्रेमवर्क के रूप में कार्य करता है। प्रोजेक्ट उन्नत मेमोरी और कंप्यूट अनुकूलन के माध्यम से खुद को अलग करता है, जैसे अल्ट्रा-लॉन्ग कॉन्टेक्स्ट विंडो के लिए सीक्वेंस पैरेललिज्म और GPU आइडल समय को कम करने के लिए इंटरलीव्ड पाइपलाइन पैरेललिज्म। यह प्राथमिकता अनुकूलन के लिए एक समर्पित सूट प्रदान करता है, जो मॉडल नीतियों और इनाम प्रणालियों को परिष्कृत करने के लिए Group Relative Policy Optimization और Direct Preference Optimization जैसी तकनीकों को लागू करता है। व्यापक क्षमता क्षेत्र कई नोड्स में वितरित मॉडल प्रशिक्षण, मल्टीमॉडल डेटासेट तैयारी और एडाप्टर-आधारित फाइन-ट्यूनिंग के प्रबंधन को कवर करते हैं। इंजन में मॉडल मूल्यांकन, वेट मर्जिंग और प्रशिक्षित मापदंडों को इन्फरेंस इंजन में निर्यात करने के लिए टूल भी शामिल हैं। प्रशिक्षण का प्रबंधन मानकीकृत कॉन्फ़िगरेशन फाइलों और वितरित लॉन्चरों के माध्यम से किया जाता है ताकि कंप्यूटिंग क्लस्टर में सुसंगत परिणाम सुनिश्चित किए जा सकें।
Supports pre-processing large datasets and saving them locally to eliminate repeated computation and timeouts.
Pythonagentdeepseek-v3gpt-oss - jcjohnson/fast-neural-style
jcjohnson/fast-neural-style
4,354GitHub पर देखेंयह प्रोजेक्ट एक न्यूरल स्टाइल ट्रांसफर फ्रेमवर्क है जो छवियों और वीडियो पर कलात्मक शैलियों को लागू करने के लिए कंप्यूटर विज़न टूल्स का एक सूट प्रदान करता है। यह फीडफॉरवर्ड न्यूरल नेटवर्क को प्रशिक्षित करने, एक पुनरावृत्त (iterative) स्टाइल ऑप्टिमाइज़र और रीयल-टाइम वीडियो स्टाइलाइज़र के लिए एक सिस्टम के रूप में कार्य करता है। यह फ्रेमवर्क स्टाइलाइज़ेशन की दो प्राथमिक विधियों का समर्थन करता है: एक फीडफॉरवर्ड मॉडल जो एक ही पास में शैलियों को लागू करता है, और एक पुनरावृत्त अनुकूलन विधि जो पूर्व-प्रशिक्षित मॉडल के बिना कंटेंट और स्टाइल लॉस को कम करके स्टाइलाइज़्ड छवियां उत्पन्न करती है। यह प्रशिक्षित मॉडल का उपयोग करके लाइव वेबकैम फ़ीड की रीयल-टाइम प्रोसेसिंग को भी सक्षम बनाता है। यह प्रोजेक्ट कलात्मक छवि प्रसंस्करण, परसेप्चुअल लॉस मिनिमाइज़ेशन के माध्यम से स्टाइल ट्रांसफर मॉडल प्रशिक्षण, और छवि फ़ोल्डरों को संगत प्रशिक्षण सेटों में प्रारूपित करने के लिए डेटासेट तैयारी उपयोगिताओं सहित कई क्षमता क्षेत्रों को कवर करता है।
Provides pipelines for batching and processing image directories into formats suitable for neural network training.
Lua - xiaotudui/pytorch-tutorial
xiaotudui/pytorch-tutorial
4,195GitHub पर देखेंयह प्रोजेक्ट एक PyTorch डीप लर्निंग ट्यूटोरियल और शैक्षिक संसाधन है। यह न्यूरल नेटवर्क को स्क्रैच से डिज़ाइन, ट्रेन और वैलिडेट करने के लिए एक संरचित पाठ्यक्रम और चरण-दर-चरण गाइड प्रदान करता है। इस संसाधन में कंप्यूटर विज़न कार्यान्वयन पर विशिष्ट गाइड शामिल हैं, जो कन्वेन्शनल न्यूरल नेटवर्क का उपयोग करके ऑब्जेक्ट डिटेक्शन और इमेज क्लासिफिकेशन पर केंद्रित हैं। यह प्रशिक्षण समय को कम करने के लिए हार्डवेयर त्वरण के माध्यम से मॉडल प्रदर्शन को अनुकूलित करने के निर्देश भी प्रदान करता है। सामग्री में टेंसर ऑपरेशंस, इमेज डेटासेट की तैयारी, और लॉस फंक्शन्स तथा ऑप्टिमाइज़र के उपयोग सहित पूर्ण मॉडल विकास जीवनचक्र शामिल है। यह प्रशिक्षित वेट्स को सेव और रीलोड करने के माध्यम से मॉडल जीवनचक्र प्रबंधन को भी संबोधित करता है।
Implements pipelines for batching and processing large-scale datasets for efficient model training.
Pythonpytorchpytorch-tutorial - codemayq/chinese-chatbot-corpus
codemayq/chinese-chatbot-corpus
4,193GitHub पर देखेंयह प्रोजेक्ट लार्ज लैंग्वेज मॉडल के प्रशिक्षण और इंस्ट्रक्शन ट्यूनिंग के लिए डिज़ाइन किए गए संसाधित चीनी संवादात्मक डेटासेट और प्रीप्रोसेसिंग वर्कफ़्लो का एक संग्रह प्रदान करता है। यह क्वेरी-आंसर जोड़े के रूप में स्वरूपित साफ, मानकीकृत चीनी टेक्स्ट के एक प्रशिक्षण कॉर्पस के रूप में कार्य करता है। इस रिपॉजिटरी में एक प्रीप्रोसेसिंग पाइपलाइन और डेटासेट एग्रीगेटर शामिल है जो कई सार्वजनिक चैट स्रोतों को एकीकृत फाइलों में जोड़ता है। ये टूल्स पारंपरिक चीनी वर्णों को सरलीकृत वर्णों में बदलकर और जटिल संवाद थ्रेड्स को एकल टर्न के मानकीकृत अनुक्रम में बदलकर टेक्स्ट को सामान्य करते हैं। परिणामी डेटा को स्वतंत्र टैब-सेपरेटेड वैल्यू फाइलों के रूप में निर्यात किया जाता है, जो विभिन्न स्रोतों में एक सुसंगत स्कीमा सुनिश्चित करता है। यह इंजीनियरिंग वर्कफ़्लो मशीन लर्निंग कार्यों के लिए कच्चे संवादात्मक डेटा को तैयार करने के लिए स्वरूपण विसंगतियों को दूर करने पर केंद्रित है।
Processes large-scale conversational datasets into structured formats specifically for machine learning training.
Python - udacity/deep-learning
udacity/deep-learning
4,058GitHub पर देखेंयह प्रोजेक्ट एक डीप लर्निंग शैक्षिक पाठ्यक्रम और कार्यान्वयन गाइड है जिसे न्यूरल नेटवर्क बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह पैटर्न पहचान और जेनरेटिव कार्यों को हल करने वाले मॉडल विकसित करने के लिए एक पाठ्यक्रम प्रदान करता है। सामग्री में कंप्यूटर विज़न प्रशिक्षण, नेचुरल लैंग्वेज प्रोसेसिंग और जेनरेटिव AI के लिए विशेष मॉड्यूल शामिल हैं। यह नए डेटा को वर्गीकृत करने के लिए ट्रांसफर लर्निंग के व्यावहारिक अनुप्रयोग और सिंथेटिक मीडिया के निर्माण को कवर करता है। यह प्रोजेक्ट नेटवर्क आर्किटेक्चर के डिज़ाइन, मशीन लर्निंग डेटा पाइपलाइन्स के निर्माण, और अंडरफिटिंग या ओवरफिटिंग की पहचान करने के लिए मॉडल प्रदर्शन डायग्नोस्टिक्स के उपयोग को शामिल करता है। सामग्री Jupyter Notebooks के माध्यम से वितरित की जाती है।
Implements techniques for processing data in small groups to optimize memory and training speed.
Jupyter Notebook
