23 रिपॉजिटरी
Tools for cleaning and formatting raw data for machine learning ingestion.
Distinguishing note: Focuses on training-specific data preparation, distinct from general data cleaning.
Explore 23 awesome GitHub repositories matching data & databases · Data Preprocessing Pipelines. Refine with filters or upvote what's useful.
Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training
Ships data preprocessing pipelines to clean and format raw datasets for efficient machine learning ingestion.
This project provides a collection of practical machine learning code examples, including implementations for supervised, unsupervised, and reinforcement learning algorithms. It features deep learning model implementations for convolutional, recurrent, and generative architectures, alongside specific examples of reinforcement learning agents that maximize rewards in simulated environments. The repository includes dedicated data preprocessing pipelines for sanitization, feature scaling, and dimensionality reduction. It also provides implementations for a wide range of specific models, such as
Provides dedicated pipelines for data sanitization, scaling, and dimensionality reduction.
Label Studio is a multi-modal data annotation platform designed to create and manage high-quality training datasets for machine learning. It functions as a self-hosted, containerized environment that supports secure, private deployments, including air-gapped configurations. The platform provides a centralized workspace for labeling diverse media types, such as images, text, audio, and time-series data, to support supervised and reinforcement learning workflows. The platform distinguishes itself through deep integration with machine learning backends, enabling active learning loops, automated
Applies automated preprocessing routines to raw data inputs to prepare them for manual annotation or model training.
This project is a deep learning library designed for training neural networks on irregular data structures, including graphs, 3D meshes, and point clouds. It functions as an extension to the PyTorch framework, providing specialized layers and kernels that enable the processing of complex, non-Euclidean information. The library distinguishes itself through a geometric deep learning toolkit that manages the unique requirements of graph-based data. It utilizes sparse matrix-based message passing to aggregate information across nodes and employs dynamic computational graph construction to accommo
Automates the transformation and feature engineering of raw graph or point cloud data to prepare it for neural network input.
This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ
Provides implementations of pipelines that sequence data preprocessing and estimator steps into a single workflow.
Nerfstudio दो-आयामी छवि डेटासेट से प्राप्त त्रि-आयामी दृश्य अभ्यासों को प्रशिक्षित करने, देखने और निर्यात करने के लिए एक मॉड्यूलर विकास फ्रेमवर्क है। यह एक न्यूरल दृश्य पुनर्निर्माण पाइपलाइन प्रदान करता है जो एक डिफरेंशियल वॉल्यूमेट्रिक रेंडरर का उपयोग करके कच्ची छवियों और कैमरा डेटा को उच्च-फिडेलिटी 3D एसेट और सिनेमाई वीडियो में परिवर्तित करता है। सिस्टम में एक इंटरैक्टिव वेब-आधारित विज़ुअलाइज़र है जो उपयोगकर्ताओं को प्रशिक्षण प्रगति की निगरानी करने और रीयल-टाइम में न्यूरल दृश्य ज्यामिति का निरीक्षण करने की अनुमति देता है। यह एक मानकीकृत मॉड्यूलर इंटरफ़ेस के माध्यम से प्रशिक्षण लूप से न्यूरल नेटवर्क आर्किटेक्चर को अलग करता है, जो कस्टम न्यूरल रेडिएंस फील्ड आर्किटेक्चर के विकास और प्रयोग को सक्षम बनाता है। फ्रेमवर्क कैमरा पोज़ गणना के लिए डेटासेट प्रीप्रोसेसिंग, मॉडल फिडेलिटी मूल्यांकन, और कैमरा प्रक्षेपवक्र इंटरपोलेशन के माध्यम से सिनेमाई वीडियो अनुक्रमों के निर्माण सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। इसमें प्रशिक्षित दृश्यों को बाहरी मॉडलिंग सॉफ्टवेयर में उपयोग के लिए 3D एसेट और पॉइंट क्लाउड के रूप में निर्यात करने के लिए यूटिलिटी भी शामिल है। सुसंगत हार्डवेयर निष्पादन कंटेनरीकृत वातावरण के माध्यम से समर्थित है जो ग्राफिक्स ड्राइवर और सिस्टम निर्भरताओं को बंडल करता है।
Provides pipelines for calculating camera poses and spatial orientations from raw visual inputs.
This is a cross-platform framework for building, training, and deploying custom machine learning models within the .NET ecosystem. It provides a predictive modeling engine for classification, regression, and forecasting tasks, alongside an inference runtime to generate predictions across different hardware architectures. The framework includes a gradient boosting library and supports interoperability with external models via a standardized open format. It features tools for prediction explainability, allowing the analysis of feature importance to debug model behavior and identify bias. The p
Provides tools for cleaning and transforming raw datasets from files or databases to prepare them for ML pipelines.
This repository is the official documentation for TensorFlow, a machine learning framework. It provides comprehensive guides, tutorials, and API references for building, training, and deploying machine learning models. The documentation covers the full lifecycle of machine learning projects, from constructing data pipelines and building neural networks with high-level APIs to customizing training loops and deploying trained models in production, on edge devices, or in browsers. The documentation includes step-by-step tutorials for a range of tasks, including reinforcement learning, ranking mo
Builds input pipelines to clean and transform data before feeding it into machine learning models.
River ऑनलाइन मशीन लर्निंग के लिए एक Python फ़्रेमवर्क है, जिसे स्ट्रीमिंग डेटा पर मॉडल को ट्रेन और इवैल्यूएट करने के लिए डिज़ाइन किया गया है। यह एक बार में एक ऑब्ज़र्वेशन के साथ मॉडल पैरामीटर्स को अपडेट करके इंक्रीमेंटल लर्निंग को सक्षम बनाता है, जिससे मेमोरी में पूर्ण ट्रेनिंग डेटासेट को स्टोर करने की आवश्यकता समाप्त हो जाती है। यह लाइब्रेरी एक डेडिकेटेड कॉन्सेप्ट ड्रिफ्ट डिटेक्शन सिस्टम के माध्यम से खुद को अलग करती है जो मॉडल एडॉप्टेशन को ट्रिगर करने के लिए डेटा वितरण में परिवर्तनों की निगरानी करता है। यह एक प्रोग्रेसिव वैलिडेशन फ़्रेमवर्क भी प्रदान करती है जो ट्रेनिंग के लिए उपयोग करने से पहले सैंपल्स पर मॉडल का परीक्षण करके रीयल-टाइम डिप्लॉयमेंट को सिम्युलेट करता है। यह सिस्टम रीयल-टाइम फ़ीचर इंजीनियरिंग, टाइम सीरीज़ फ़ोरकास्टिंग और ऑनलाइन एनोमली डिटेक्शन सहित स्ट्रीमिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह इंक्रीमेंटल क्लस्टरिंग और डिसीजन ट्री के माध्यम से अनसुपरवाइज़्ड लर्निंग, साथ ही मॉडल चयन के लिए एन्सेम्बल एग्रीगेशन और बैंडिट नीतियों का समर्थन करता है। इस प्रोजेक्ट में CSV फ़ाइलों और API जैसे स्रोतों से स्ट्रीमिंग डेटा इनजेशन के लिए यूटिलिटीज़, साथ ही रनिंग आँकड़ों और मेमोरी-कुशल डेटा स्केच की गणना करने के लिए टूल शामिल हैं।
Chains preprocessing and estimation steps into sequential workflows for transforming raw streaming features.
यह प्रोजेक्ट इंटरैक्टिव Jupyter Notebooks के माध्यम से वितरित एक मशीन लर्निंग शैक्षिक पाठ्यक्रम और शिक्षण प्लेटफ़ॉर्म है। यह Python डेटा साइंस टूलकिट में महारत हासिल करने के लिए एक व्यापक गाइड के रूप में कार्य करता है, जो न्यूमेरिकल कंप्यूटिंग, टैबुलर डेटा मैनिपुलेशन और सांख्यिकीय विज़ुअलाइज़ेशन के लिए स्ट्रक्चर्ड ट्यूटोरियल प्रदान करता है। इस पाठ्यक्रम में Scikit-Learn के लिए विशिष्ट इम्प्लीमेंटेशन गाइड और न्यूरल नेटवर्क व कंप्यूटर विज़न मॉडल बनाने, ट्रेन करने और डिप्लॉय करने के लिए TensorFlow पर एक व्यावहारिक कोर्स शामिल है। यह समस्या के प्रारंभिक निरूपण और कार्य वर्गीकरण से लेकर इंटरैक्टिव वेब इंटरफ़ेस के माध्यम से मॉडल के डिप्लॉयमेंट तक, प्रेडिक्टिव मॉडल बनाने की एंड-टू-एंड प्रक्रिया को कवर करता है। यह प्रोजेक्ट मल्टीडायमेंशनल एरेज़ के साथ न्यूमेरिकल कंप्यूटिंग, एक्सप्लोरेटरी डेटा एनालिसिस और डेटा प्रीप्रोसेसिंग रूटीन सहित व्यापक क्षमता सतह को कवर करता है। यह सुपरवाइज़्ड और अनसुपरवाइज़्ड लर्निंग, ऑटोमेटेड मशीन लर्निंग पाइपलाइन, हाइपरपैरामीटर ऑप्टिमाइज़ेशन और क्लासिफिकेशन मेट्रिक्स व क्रॉस-वैलिडेशन का उपयोग करके मॉडल मूल्यांकन के लिए विस्तृत वर्कफ़्लो प्रदान करता है। शैक्षिक सामग्री को नोटबुक की एक सीरीज़ के रूप में व्यवस्थित किया गया है जो डेटा साइंस वर्कफ़्लो को दस्तावेज़ित करने के लिए नैरेटिव स्पष्टीकरण के साथ Python कोड को इंटरलीव करती है।
Provides tools for cleaning and formatting raw data through reusable preprocessing pipelines for ML ingestion.
LatentSync एक ऑडियो-ड्रिवन वीडियो जनरेटर और लेटेंट डिफ़्यूज़न लिप सिंक मॉडल है जिसे वीडियो में स्पीकर के होंठों की गतिविधियों को टारगेट ऑडियो ट्रैक के साथ सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह कस्टम वीडियो और ऑडियो डेटासेट पर सिंक्रोनाइज़ेशन नेटवर्क विकसित करने के लिए एक लिप सिंक्रोनाइज़ेशन ट्रेनिंग फ़्रेमवर्क प्रदान करता है। यह सिस्टम फेस डेटा को साफ़ करने, सेगमेंट करने और संरेखित करने के लिए एक वीडियो प्रीप्रोसेसिंग पाइपलाइन का उपयोग करता है। इसमें एक विज़ुअल सिंक मूल्यांकन टूल शामिल है जो जेनरेट किए गए वीडियो में ऑडियो और विज़ुअल संरेखण की सटीकता को मापने के लिए कॉन्फ़िडेंस स्कोर की गणना करता है। यह प्रोजेक्ट कस्टम सिंक्रोनाइज़ेशन नेटवर्क विकास, हार्डवेयर मेमोरी और रिज़ॉल्यूशन के लिए ट्रेनिंग कॉन्फ़िगरेशन मैनेजमेंट और सिंथेटिक वीडियो मूल्यांकन के लिए क्षमताओं को कवर करता है।
Ships a suite of tools for cleaning, segmenting, and aligning face data to prepare video datasets.
NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha
Enables data pipelines to be built once and executed across TensorFlow, PyTorch, PaddlePaddle, and JAX.
Leaf एक मशीन लर्निंग फ्रेमवर्क और न्यूरल नेटवर्क आर्किटेक्चर टूलकिट है जिसका उपयोग मॉडल बनाने, प्रशिक्षित करने और तैनात करने के लिए किया जाता है। यह एक हार्डवेयर एब्स्ट्रैक्शन लेयर के रूप में कार्य करता है, जो विभिन्न CPU और GPU बैकएंड और ऑपरेटिंग सिस्टम में उच्च-स्तरीय कंप्यूटेशनल ग्राफ को निम्न-स्तरीय निर्देशों के लिए मैप करता है। सिस्टम एक मॉड्यूलर आर्किटेक्चर के माध्यम से लचीले मॉडल संरचनाओं के डिज़ाइन को सक्षम बनाता है जहाँ पुन: प्रयोज्य कंटेनर लेयर्स वेट्स और गणितीय ऑपरेशंस को एनकैप्सुलेट करती हैं। यह नेस्टेड घटकों के माध्यम से जटिल न्यूरल नेटवर्क के निर्माण की अनुमति देता है। फ्रेमवर्क में रॉ डेटासेट को क्लीन टेंसर में बदलने के लिए एक डेटा इंजीनियरिंग पाइपलाइन और डायग्नोस्टिक इंस्ट्रूमेंटेशन का उपयोग करके रनटाइम बाधाओं की पहचान करने के लिए एक कंप्यूटेशनल परफॉरमेंस प्रोफाइलर शामिल है। ये क्षमताएं उच्च प्रदर्शन कंप्यूटिंग ऑप्टिमाइज़ेशन और क्रॉस-हार्डवेयर मॉडल परिनियोजन का समर्थन करती हैं।
Transforms raw datasets into clean, structured formats through a processing pipeline for model inference.
यह प्रोजेक्ट चीनी भाषी लोगों के लिए scikit-learn मशीन लर्निंग लाइब्रेरी गाइड और API संदर्भों का एक अनुवादित संस्करण प्रदान करता है। यह Python-आधारित टूलकिट का उपयोग करके प्रेडिक्टिव डेटा विश्लेषण और सांख्यिकीय मॉडलिंग को लागू करने के लिए एक स्थानीयकृत ज्ञान आधार और तकनीकी संदर्भ के रूप में कार्य करता है। यह संसाधन सुपरवाइज्ड लर्निंग (वर्गीकरण और रिग्रेशन कार्यों सहित) और पैटर्न खोज और विसंगति पहचान के लिए अनसुपरवाइज्ड लर्निंग वर्कफ़्लो के कार्यान्वयन को कवर करता है। यह डेटा साइंस शिक्षा पर मार्गदर्शन भी प्रदान करता है, विशेष रूप से मशीन लर्निंग के लिए scikit-learn के उपयोग पर ध्यान केंद्रित करता है। दस्तावेज़ीकरण में डेटा प्रीप्रोसेसिंग, डाइमेंशनलिटी रिडक्शन और फ़ीचर चयन पर विस्तृत निर्देश शामिल हैं। यह प्रदर्शन मेट्रिक्स, हाइपरपैरामीटर ऑप्टिमाइज़ेशन और सामान्यीकरण सत्यापन के माध्यम से मॉडल मूल्यांकन और ट्यूनिंग का विवरण देता है, साथ ही प्रेडिक्शन पाइपलाइन और नेचुरल लैंग्वेज प्रोसेसिंग उपयोगिताओं का उपयोग भी करता है।
Describes how to chain scaling and imputation steps into a unified pipeline for model ingestion.
Kaolin एक PyTorch 3D डीप लर्निंग लाइब्रेरी है जो 3D ज्यामिति प्रसंस्करण, भौतिकी सिमुलेशन, डेटा विज़ुअलाइज़ेशन, और कंप्यूटर विज़न के लिए ग्रेडिएंट-आधारित रेंडरिंग के लिए टूल का एक व्यापक सूट प्रदान करती है। इस लाइब्रेरी में एक डिफरेंशिएबल 3D रेंडरर और मेश और पॉइंट क्लाउड जैसे 3D अभ्यावेदन को बदलने और बदलने के लिए एक ज्यामिति प्रसंस्करण टूलकिट शामिल है। इसमें त्रि-आयामी वस्तुओं और दृश्यों के बीच भौतिक इंटरैक्शन और टकराव की गणना करने के लिए एक 3D भौतिकी सिमुलेशन इंजन भी है। यह टूलकिट 3D डेटा विज़ुअलाइज़ेशन के लिए यूटिलिटीज प्रदान करती है, जिसमें इंटरैक्टिव दृश्य और टर्नटेबल एनिमेशन का निर्माण शामिल है। अतिरिक्त क्षमताएं 3D डेटासेट प्रबंधन, डेटा प्रीप्रोसेसिंग, और 3D अभ्यावेदन रेंडरिंग को कवर करती हैं।
Implements 3D spatial preprocessing pipelines to transform data formats for improved deep learning training speed.
This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen
Implements multi-process data loading to ensure the GPU remains saturated during training.
This project is a collection of foundational machine learning algorithms and tools implemented from scratch in Python. It serves as a library of core implementations for regression, classification, and clustering models, designed to demonstrate the underlying mathematical structures of these algorithms without relying on high-level machine learning frameworks. The project focuses on the manual implementation of algorithmic logic, including neural networks with forward propagation and weight updates, as well as various supervised and unsupervised learning models. It utilizes NumPy for vectoriz
Implements a preprocessing pipeline that transforms raw numerical and image data into standardized formats.
This project is a comprehensive educational resource and tutorial handbook for building, training, and deploying machine learning models using TensorFlow 2. It serves as a structured learning guide covering core deep learning concepts, including neural network architectures, automatic differentiation, and tensor operations. The handbook provides technical guidance on optimizing execution efficiency through GPU memory management, distributed training, and model quantization. It also includes detailed manuals for constructing high-performance data pipelines and exporting models for production s
Details the creation and transformation of datasets using parallelization strategies for model feeding.
This project is a collection of interactive Jupyter notebooks and a structured machine learning tutorial series. It serves as an educational resource for studying predictive modeling and statistical analysis through a curriculum of executable code examples. The notebooks are specifically designed to accompany video tutorials, integrating external video assets with live code to synchronize visual instruction with hands-on experimentation. This approach allows users to follow sequential lessons while executing and modifying machine learning workflows directly in a browser. The content covers t
Teaches how to build pipelines for cleaning and formatting raw data for machine learning ingestion.
4DGaussians is a research library and neural rendering engine designed for reconstructing and rendering dynamic three-dimensional scenes. It represents moving environments as a collection of Gaussian primitives that evolve in position and appearance over a temporal dimension. The framework utilizes neural deformation fields to predict spatial offsets and rotations for static point representations, simulating complex motion over time. It further employs temporal basis decomposition to encode motion trajectories into learned functions, compressing dynamic scene data while maintaining smooth tra
Generates and downsamples point clouds from source images to establish a geometric foundation for training.