23 مستودعات
Tools for cleaning and formatting raw data for machine learning ingestion.
Distinguishing note: Focuses on training-specific data preparation, distinct from general data cleaning.
Explore 23 awesome GitHub repositories matching data & databases · Data Preprocessing Pipelines. Refine with filters or upvote what's useful.
Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training
Ships data preprocessing pipelines to clean and format raw datasets for efficient machine learning ingestion.
This project provides a collection of practical machine learning code examples, including implementations for supervised, unsupervised, and reinforcement learning algorithms. It features deep learning model implementations for convolutional, recurrent, and generative architectures, alongside specific examples of reinforcement learning agents that maximize rewards in simulated environments. The repository includes dedicated data preprocessing pipelines for sanitization, feature scaling, and dimensionality reduction. It also provides implementations for a wide range of specific models, such as
Provides dedicated pipelines for data sanitization, scaling, and dimensionality reduction.
Label Studio is a multi-modal data annotation platform designed to create and manage high-quality training datasets for machine learning. It functions as a self-hosted, containerized environment that supports secure, private deployments, including air-gapped configurations. The platform provides a centralized workspace for labeling diverse media types, such as images, text, audio, and time-series data, to support supervised and reinforcement learning workflows. The platform distinguishes itself through deep integration with machine learning backends, enabling active learning loops, automated
Applies automated preprocessing routines to raw data inputs to prepare them for manual annotation or model training.
This project is a deep learning library designed for training neural networks on irregular data structures, including graphs, 3D meshes, and point clouds. It functions as an extension to the PyTorch framework, providing specialized layers and kernels that enable the processing of complex, non-Euclidean information. The library distinguishes itself through a geometric deep learning toolkit that manages the unique requirements of graph-based data. It utilizes sparse matrix-based message passing to aggregate information across nodes and employs dynamic computational graph construction to accommo
Automates the transformation and feature engineering of raw graph or point cloud data to prepare it for neural network input.
This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ
Provides implementations of pipelines that sequence data preprocessing and estimator steps into a single workflow.
Nerfstudio هو إطار عمل تطوير معياري لتدريب وتصور وتصدير تمثيلات المشهد ثلاثي الأبعاد المشتقة من مجموعات بيانات الصور ثنائية الأبعاد. يوفر خط أنابيب إعادة بناء مشهد عصبي يحول الصور الخام وبيانات الكاميرا إلى أصول ثلاثية الأبعاد عالية الدقة وفيديو سينمائي باستخدام عارض حجمي قابل للتفاضل. يتميز النظام بمصور تفاعلي قائم على الويب يسمح للمستخدمين بمراقبة تقدم التدريب وفحص هندسة المشهد العصبي في الوقت الفعلي. يفصل بنيات الشبكة العصبية عن حلقة التدريب من خلال واجهة معيارية قياسية، مما يتيح تطوير وتجربة بنيات حقل الإشعاع العصبي المخصصة. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك معالجة مجموعة البيانات لحساب وضع الكاميرا، وتقييم دقة النموذج، وتوليد تسلسلات الفيديو السينمائي عبر استيفاء مسار الكاميرا. يتضمن أيضاً أدوات لتصدير المشاهد المدربة كأصول ثلاثية الأبعاد وسحب نقاط للاستخدام في برامج النمذجة الخارجية. يتم دعم تنفيذ الأجهزة المتسق من خلال بيئات الحاويات التي تجمع برامج تشغيل الرسومات وتبعيات النظام.
Provides pipelines for calculating camera poses and spatial orientations from raw visual inputs.
This is a cross-platform framework for building, training, and deploying custom machine learning models within the .NET ecosystem. It provides a predictive modeling engine for classification, regression, and forecasting tasks, alongside an inference runtime to generate predictions across different hardware architectures. The framework includes a gradient boosting library and supports interoperability with external models via a standardized open format. It features tools for prediction explainability, allowing the analysis of feature importance to debug model behavior and identify bias. The p
Provides tools for cleaning and transforming raw datasets from files or databases to prepare them for ML pipelines.
This repository is the official documentation for TensorFlow, a machine learning framework. It provides comprehensive guides, tutorials, and API references for building, training, and deploying machine learning models. The documentation covers the full lifecycle of machine learning projects, from constructing data pipelines and building neural networks with high-level APIs to customizing training loops and deploying trained models in production, on edge devices, or in browsers. The documentation includes step-by-step tutorials for a range of tasks, including reinforcement learning, ranking mo
Builds input pipelines to clean and transform data before feeding it into machine learning models.
River هو إطار عمل Python للتعلم الآلي عبر الإنترنت، مصمم لتدريب وتقييم النماذج على بيانات البث. يتيح التعلم التزايدي عن طريق تحديث معلمات النموذج بملاحظة واحدة في كل مرة، مما يلغي الحاجة إلى تخزين مجموعات بيانات التدريب الكاملة في الذاكرة. تتميز المكتبة بنظام مخصص للكشف عن انحراف المفهوم (concept drift) الذي يراقب التغييرات في توزيعات البيانات لتحفيز تكيف النموذج. كما توفر إطار عمل للتحقق التدريجي يحاكي النشر في الوقت الفعلي عن طريق اختبار النماذج على عينات قبل استخدامها للتدريب. يغطي النظام مجموعة واسعة من إمكانات البث، بما في ذلك هندسة الميزات في الوقت الفعلي، والتنبؤ بالسلاسل الزمنية، واكتشاف الشذوذ عبر الإنترنت. ويدعم التعلم غير الخاضع للإشراف من خلال التجميع التزايدي وأشجار القرار، بالإضافة إلى تجميع النماذج وسياسات bandit لاختيار النموذج. يتضمن المشروع أدوات لاستيعاب بيانات البث من مصادر مثل ملفات CSV و APIs، بالإضافة إلى أدوات لحساب الإحصائيات الجارية ومخططات البيانات الموفرة للذاكرة.
Chains preprocessing and estimation steps into sequential workflows for transforming raw streaming features.
هذا المشروع عبارة عن منهج تعليمي للتعلم الآلي ومنصة تعليمية يتم تقديمها من خلال دفاتر Jupyter التفاعلية. يعمل كدليل شامل لإتقان مجموعة أدوات علوم البيانات في Python، ويوفر دروساً منظمة للحوسبة العددية، ومعالجة البيانات الجدولية، والتصور الإحصائي. يتضمن المنهج أدلة تنفيذ محددة لـ Scikit-Learn ودورة عملية حول TensorFlow لبناء وتدريب ونشر الشبكات العصبية ونماذج رؤية الحاسب. ويغطي العملية الشاملة لبناء النماذج التنبؤية، من صياغة المشكلة الأولية وتصنيف المهام إلى نشر النماذج عبر واجهات الويب التفاعلية. يغطي المشروع سطح إمكانات واسع بما في ذلك الحوسبة العددية مع المصفوفات متعددة الأبعاد، وتحليل البيانات الاستكشافي، وروتينات معالجة البيانات مسبقاً. ويوفر سير عمل مفصلاً للتعلم الخاضع للإشراف وغير الخاضع للإشراف، وخطوط أنابيب التعلم الآلي المؤتمتة، وتحسين المعلمات الفائقة، وتقييم النموذج باستخدام مقاييس التصنيف والتحقق المتبادل. يتم تنظيم المحتوى التعليمي كسلسلة من الدفاتر التي تتداخل فيها أكواد Python مع التفسيرات السردية لتوثيق سير عمل علوم البيانات.
Provides tools for cleaning and formatting raw data through reusable preprocessing pipelines for ML ingestion.
LatentSync هو مولد فيديو مدفوع بالصوت ونموذج مزامنة شفاه انتشار كامن مصمم لمزامنة حركات شفاه المتحدث في فيديو مع مسار صوتي مستهدف. يوفر إطار عمل تدريب لمزامنة الشفاه لتطوير شبكات المزامنة على مجموعات بيانات فيديو وصوت مخصصة. يستخدم النظام خط أنابيب معالجة فيديو مسبقة لتنظيف، وتقسيم، ومحاذاة بيانات الوجه. ويتضمن أداة تقييم مزامنة مرئية تحسب درجات الثقة لقياس دقة محاذاة الصوت والمرئيات في مقاطع الفيديو التي تم إنشاؤها. يغطي المشروع إمكانات لتطوير شبكة مزامنة مخصصة، وإدارة تكوين التدريب لذاكرة الأجهزة والدقة، وتقييم الفيديو الاصطناعي.
Ships a suite of tools for cleaning, segmenting, and aligning face data to prepare video datasets.
NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha
Enables data pipelines to be built once and executed across TensorFlow, PyTorch, PaddlePaddle, and JAX.
Leaf هو إطار عمل للتعلم الآلي ومجموعة أدوات معمارية للشبكات العصبية تستخدم لبناء وتدريب ونشر النماذج. يعمل كطبقة تجريد للأجهزة، حيث يربط الرسوم البيانية الحسابية عالية المستوى بتعليمات منخفضة المستوى عبر مختلف وحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات (GPU) وأنظمة التشغيل. يمكن النظام من تصميم هياكل نماذج مرنة من خلال بنية معيارية حيث تغلف طبقات الحاوية القابلة لإعادة الاستخدام الأوزان والعمليات الرياضية. وهذا يسمح بتكوين شبكات عصبية معقدة عبر مكونات متداخلة. يتضمن إطار العمل خط أنابيب لهندسة البيانات لتحويل مجموعات البيانات الخام إلى موترات نظيفة ومحلل أداء حسابي لتحديد اختناقات وقت التشغيل باستخدام أدوات التشخيص. تدعم هذه الإمكانيات تحسين الحوسبة عالية الأداء ونشر النماذج عبر الأجهزة المختلفة.
Transforms raw datasets into clean, structured formats through a processing pipeline for model inference.
يوفر هذا المشروع نسخة مترجمة من أدلة مكتبة تعلم الآلة scikit-learn ومراجع واجهة برمجة التطبيقات للمتحدثين باللغة الصينية. يعمل كقاعدة معرفية مترجمة ومرجع تقني لتنفيذ تحليل البيانات التنبؤي والنمذجة الإحصائية باستخدام مجموعة أدوات قائمة على Python. يغطي المورد تنفيذ التعلم الخاضع للإشراف، بما في ذلك مهام التصنيف والانحدار، وسير عمل التعلم غير الخاضع للإشراف لاكتشاف الأنماط وكشف الشذوذ. كما يوفر توجيهاً حول تعليم علم البيانات، مع التركيز بشكل خاص على استخدام scikit-learn لتعلم الآلة. تتضمن الوثائق تعليمات مفصلة حول معالجة البيانات مسبقاً، وتقليل الأبعاد، واختيار الميزات. كما تفصل تقييم النماذج وضبطها من خلال مقاييس الأداء، وتحسين المعلمات الفائقة، والتحقق من التعميم، بالإضافة إلى استخدام خطوط أنابيب التنبؤ وأدوات معالجة اللغات الطبيعية.
Describes how to chain scaling and imputation steps into a unified pipeline for model ingestion.
Kaolin هي مكتبة تعلم عميق ثلاثية الأبعاد لـ PyTorch توفر مجموعة شاملة من الأدوات لمعالجة الهندسة ثلاثية الأبعاد، ومحاكاة الفيزياء، وتصور البيانات، والعرض القائم على التدرج لرؤية الكمبيوتر. تتضمن المكتبة عارضاً ثلاثي الأبعاد قابلاً للتمايز ومجموعة أدوات معالجة هندسية لتحويل وتحويل التمثيلات ثلاثية الأبعاد مثل الشبكات (meshes) والسحب النقطية (point clouds). كما تتميز بمحرك محاكاة فيزياء ثلاثي الأبعاد لحساب التفاعلات الفيزيائية والاصطدامات بين الكائنات والمشاهد ثلاثية الأبعاد. توفر مجموعة الأدوات أدوات مساعدة لتصور البيانات ثلاثية الأبعاد، بما في ذلك إنشاء طرق عرض تفاعلية ورسوم متحركة دوارة. تغطي الإمكانيات الإضافية إدارة مجموعات البيانات ثلاثية الأبعاد، ومعالجة البيانات مسبقاً، وعرض التمثيل ثلاثي الأبعاد.
Implements 3D spatial preprocessing pipelines to transform data formats for improved deep learning training speed.
هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.
Implements multi-process data loading to ensure the GPU remains saturated during training.
هذا المشروع عبارة عن مجموعة من خوارزميات تعلم الآلة الأساسية والأدوات المنفذة من الصفر بلغة Python. يعمل كمكتبة للتنفيذات الأساسية لنماذج الانحدار والتصنيف والتجميع، مصممة لإظهار الهياكل الرياضية الأساسية لهذه الخوارزميات دون الاعتماد على أطر عمل تعلم الآلة عالية المستوى. يركز المشروع على التنفيذ اليدوي للمنطق الخوارزمي، بما في ذلك الشبكات العصبية مع الانتشار الأمامي وتحديثات الأوزان، بالإضافة إلى نماذج تعلم متنوعة خاضعة للإشراف وغير خاضعة للإشراف. يستخدم NumPy للتحويل المتجهي لإجراء حسابات المصفوفات والعمليات الرياضية على مجموعات البيانات الكبيرة. تغطي مجموعة الأدوات مجموعة واسعة من القدرات، بما في ذلك تقليل الأبعاد عبر تحليل المكونات الرئيسية (PCA) والمعالجة المسبقة للبيانات لمجموعات البيانات الرقمية والصورية. تمتد التنفيذات الخوارزمية عبر الانحدار الخطي والبايزي، وتجميع K-Means، وطرق تصنيف متعددة مثل آلات ناقل الدعم (SVM)، وأشجار القرار، و K-Nearest Neighbors. يتم تسليم المشروع كسلسلة من دفاتر Jupyter.
Implements a preprocessing pipeline that transforms raw numerical and image data into standardized formats.
هذا المشروع عبارة عن مورد تعليمي شامل ودليل تدريبي لبناء وتدريب ونشر نماذج تعلم الآلة باستخدام TensorFlow 2. يعمل كدليل تعليمي منظم يغطي مفاهيم التعلم العميق الأساسية، بما في ذلك معماريات الشبكات العصبية، والاشتقاق التلقائي، وعمليات الموترات (Tensors). يوفر الدليل توجيهات تقنية حول تحسين كفاءة التنفيذ من خلال إدارة ذاكرة GPU، والتدريب الموزع، وتكميم النماذج (Model Quantization). كما يتضمن أدلة مفصلة لبناء خطوط معالجة بيانات عالية الأداء وتصدير النماذج لخوادم الإنتاج، والأجهزة المحمولة، ومتصفحات الويب. تغطي المادة مجموعة واسعة من القدرات، بما في ذلك تطوير النماذج باستخدام الشبكات التلافيفية (CNN) والمتكررة (RNN)، وتنفيذ دوال خسارة وطبقات مخصصة، واستخدام النماذج المدربة مسبقاً للتعلم بنقل المعرفة (Transfer Learning). كما يتناول استراتيجيات النشر للأجهزة الطرفية (Edge Devices) واستخدام بيئات التشغيل السحابية لتسريع العتاد. تم تنفيذ المادة كمجموعة من دفاتر Jupyter Notebooks.
Details the creation and transformation of datasets using parallelization strategies for model feeding.
This project is a collection of interactive Jupyter notebooks and a structured machine learning tutorial series. It serves as an educational resource for studying predictive modeling and statistical analysis through a curriculum of executable code examples. The notebooks are specifically designed to accompany video tutorials, integrating external video assets with live code to synchronize visual instruction with hands-on experimentation. This approach allows users to follow sequential lessons while executing and modifying machine learning workflows directly in a browser. The content covers t
Teaches how to build pipelines for cleaning and formatting raw data for machine learning ingestion.
4DGaussians is a research library and neural rendering engine designed for reconstructing and rendering dynamic three-dimensional scenes. It represents moving environments as a collection of Gaussian primitives that evolve in position and appearance over a temporal dimension. The framework utilizes neural deformation fields to predict spatial offsets and rotations for static point representations, simulating complex motion over time. It further employs temporal basis decomposition to encode motion trajectories into learned functions, compressing dynamic scene data while maintaining smooth tra
Generates and downsamples point clouds from source images to establish a geometric foundation for training.