18 مستودعات
Visualization and analysis tools for quantitative model performance metrics like precision-recall curves.
Distinct from Context Recall Evaluators: Candidates relate to information retrieval recall or financial yield curves, not machine learning classification performance metrics.
Explore 18 awesome GitHub repositories matching artificial intelligence & ml · Model Evaluation Metrics. Refine with filters or upvote what's useful.
This project is a structured educational program and machine learning engineering course. It provides a comprehensive curriculum and learning path focused on data science, the development of predictive models, and the operational aspects of MLOps. The instructional material covers the full machine learning lifecycle, moving from basic data engineering to production deployment. This includes guides on wrapping models in APIs, utilizing container-based packaging, and implementing serverless architectures to host models in cloud environments. The program encompasses technical training in predic
Teaches how to measure model quality using precision-recall curves to handle data class imbalances.
This project is a collection of supervised and unsupervised machine learning algorithms implemented from scratch using Python. It serves as an educational resource for studying model training, parameter optimization, and the implementation of core predictive models. The library provides a variety of supervised learning tools, including linear and logistic regression, decision trees, and support vector machines. It also features unsupervised learning capabilities for discovering patterns in unlabeled datasets through clustering algorithms. Broad capability areas include ensemble learning thro
Implements model evaluation metrics including confusion matrices, precision, recall, and ROC curves.
TabPFN chooses a binary or multi-class metric such as ROC-AUC, PR-AUC, or log loss that matches the real-world consequences of prediction errors.
TensorBoard is a visualization toolkit for tracking and analyzing machine learning model training progress and performance using TensorFlow event logs. It provides a monitoring dashboard for plotting scalar metrics, tensor distributions, and training curves, and includes specialized tools for visualizing neural network computational graphs and projecting high-dimensional embeddings. The project enables side-by-side comparison of multiple training runs to analyze the impact of hyperparameters on model outcomes. It also features a high-dimensional embedding projector and a graph visualizer for
Displays precision-recall curves by class to evaluate the performance of multi-class classification models.
MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate
Run a trained model on the KITTI test set and compute mean Average Precision and Average Orientation Similarity metrics.
هذا المشروع عبارة عن منهج تعليمي للتعلم الآلي ومنصة تعليمية يتم تقديمها من خلال دفاتر Jupyter التفاعلية. يعمل كدليل شامل لإتقان مجموعة أدوات علوم البيانات في Python، ويوفر دروساً منظمة للحوسبة العددية، ومعالجة البيانات الجدولية، والتصور الإحصائي. يتضمن المنهج أدلة تنفيذ محددة لـ Scikit-Learn ودورة عملية حول TensorFlow لبناء وتدريب ونشر الشبكات العصبية ونماذج رؤية الحاسب. ويغطي العملية الشاملة لبناء النماذج التنبؤية، من صياغة المشكلة الأولية وتصنيف المهام إلى نشر النماذج عبر واجهات الويب التفاعلية. يغطي المشروع سطح إمكانات واسع بما في ذلك الحوسبة العددية مع المصفوفات متعددة الأبعاد، وتحليل البيانات الاستكشافي، وروتينات معالجة البيانات مسبقاً. ويوفر سير عمل مفصلاً للتعلم الخاضع للإشراف وغير الخاضع للإشراف، وخطوط أنابيب التعلم الآلي المؤتمتة، وتحسين المعلمات الفائقة، وتقييم النموذج باستخدام مقاييس التصنيف والتحقق المتبادل. يتم تنظيم المحتوى التعليمي كسلسلة من الدفاتر التي تتداخل فيها أكواد Python مع التفسيرات السردية لتوثيق سير عمل علوم البيانات.
Uses ROC curves, AUC scores, and confusion matrices to quantitatively analyze model performance.
Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b
Fetches quantitative performance scores for completed model evaluations to assess the quality and accuracy of AI outputs.
Anomalib is a PyTorch-based library for visual anomaly detection, offering a modular framework, a comprehensive model zoo, and a benchmarking suite designed for industrial defect detection. It provides a wide range of algorithms—including generative, discriminative, teacher-student, and vision-language approaches—that support unsupervised, few-shot, and zero-shot settings. The library enables deployment through model export to ONNX and OpenVINO for edge devices, and includes a no-code web application for training and inference. It also features a command-line interface for orchestrating multi
Coordinates computation of multiple evaluation metrics in a single pass for comprehensive performance reporting.
RF-DETR is a Python library for training and deploying object detection, instance segmentation, and keypoint detection models built on a vision transformer architecture. It provides a unified command-line interface and Python API for the full workflow, from fine-tuning pretrained checkpoints on custom datasets to running inference on images, video files, and live camera streams. The project supports training on datasets in COCO or YOLO format, with automatic format detection and configurable augmentation pipelines. Models can be exported to ONNX, TFLite, or TensorRT for deployment across edge
Computes mAP, precision, recall, and F1 on a validation dataset after each epoch.
This repository is a curated study resource of interview questions and answers for data science roles. It covers the core domains of machine learning, statistics, Python programming, SQL databases, deep learning, and algorithmic problem solving. The content is organized as static Markdown files with a structured question-and-answer format, making it easy to read and navigate without any server-side processing. The material distinguishes itself by pairing each question with a detailed explanation and often a code example, covering both conceptual knowledge and practical application. Topics ran
Describes evaluation metrics like precision, recall, F1, ROC, and cross-validation to assess model quality.
هذا المشروع عبارة عن مورد تعليمي شامل لتعلم الآلة وسلسلة دروس مقدمة كمجموعة من دفاتر Jupyter التفاعلية. يوفر تطبيقات عملية بلغة Python لدورة حياة تعلم الآلة بالكامل، مغطياً التعلم الخاضع للإشراف وغير الخاضع للإشراف، والتعلم العميق، والتعلم التعزيزي. يتميز المورد بتقديم أدلة تنفيذ مفصلة لمعماريات معقدة، بما في ذلك المحولات (transformers)، والشبكات التنافسية التوليدية (GANs)، والشبكات العصبية التلافيفية (CNNs). كما يتضمن دورات متخصصة لتطوير وكلاء التعلم التعزيزي باستخدام Q-learning وDeep Q-Networks داخل بيئات محاكاة. يغطي المحتوى نطاقاً واسعاً من قدرات علم البيانات، بما في ذلك خطوط أنابيب هندسة البيانات، وترميز الميزات، وتقليل الأبعاد. كما يوفر مواد مكثفة حول تقييم النماذج من خلال التحقق المتقاطع والمقاييس التشخيصية، بالإضافة إلى مواضيع متقدمة مثل معالجة اللغات الطبيعية، وتحليل المشاعر، والذكاء الاصطناعي التوليدي. تم تصميم المنهج بالكامل للتنفيذ التفاعلي داخل دفاتر Jupyter، حيث يجمع بين الكود القابل للتنفيذ والنصوص الغنية والمرئيات.
Implements detailed workflows for assessing model predictive accuracy using cross-validation and various classification metrics.
This project is an object detection evaluation library and benchmarking tool designed to calculate precision, recall, and average precision for computer vision models. It provides a suite of utilities for parsing bounding box coordinates from text files and calculating spatial overlap to determine detection accuracy. The toolkit features a command line interface for comparing ground truth files against model predictions. It includes a precision-recall curve generator to visualize the relationship between precision and recall across different confidence thresholds and an intersection over unio
Provides a toolkit for calculating precision, recall, and average precision based on ground truth and bounding box detections.
h2o-llmstudio هو إطار عمل لتدريب نماذج اللغة يوفر واجهة رسومية بدون كود لضبط النماذج اللغوية الكبيرة على مجموعات بيانات مخصصة. يعمل كأداة متخصصة لإدارة دورة حياة التدريب، من تكوين المعلمات الفائقة إلى مراقبة مقاييس الأداء. يتميز المشروع من خلال منسق تدريب متعدد وحدات معالجة الرسومات (multi-GPU) يوزع أعباء العمل عبر معالجة البيانات المتوازية وأداة تكيف منخفضة الرتبة (LoRA) للضبط الدقيق الموفر للذاكرة. كما يتضمن لوحة معلومات لتقييم النموذج تتميز بواجهة دردشة تفاعلية للتحقق من أداء المحادثة وجودة الاستجابة. تغطي المنصة سطح إمكانيات واسعاً بما في ذلك إعداد مجموعة البيانات مع تعيين المخطط، وتكميم النموذج لتقليل بصمات الذاكرة، وإدارة التجارب لمقارنة عمليات التدريب. كما توفر أدوات لتصدير النموذج المحلي والنشر في مراكز النماذج المجتمعية. يتضمن النظام واجهة سطر أوامر لتشغيل التجارب وإدارة ملفات المخرجات ضمن سير العمل الآلي.
Provides visualization and analysis tools for quantitative model performance metrics to compare different experiments.
Edward هي لغة برمجة احتمالية ومحرك استنتاج مصمم لبناء نماذج توليدية عميقة وشبكات عصبية بايزية. يستخدم إطار عمل TensorFlow لتمثيل النماذج الاحتمالية كرسوم بيانية حسابية قابلة للاشتقاق. تتيح المكتبة بناء توزيعات بيانات معقدة من خلال الشبكات العصبية البايزية، ونماذج الخليط (mixture models)، وعمليات غاوس. وتتميز بتوفير مجموعة أدوات متكاملة للنمذجة الاحتمالية الخاضعة للإشراف وغير الخاضعة للإشراف، بما في ذلك تنفيذ الشبكات التوليدية التنافسية (GANs) وشبكات كثافة الخليط. يغطي إطار العمل مجموعة واسعة من طرق الاستنتاج، بما في ذلك الاستدلال التبايني المطفأ (amortized variational inference)، وأخذ عينات Gibbs، وتقدير الاحتمال الأقصى اللاحق (MAP). كما يتضمن مجموعة شاملة من أدوات تقييم النماذج للتحقق التنبئي اللاحق، وتحليل البواقي، والتحقق من المعلمات لتشخيص مدى ملاءمة النموذج ودقته التنبؤية. يدعم النظام التدريب القابل للتوسع من خلال معالجة الدفعات (batch) والدفعات المصغرة، مع إمكانيات مدمجة لمراقبة تقدم التدريب وتصور رسوم بيانية للتنفيذ.
Calculates quantitative metrics such as classification error and mean absolute error to assess trained models.
This project is a multi-label classification pipeline designed for genre prediction. It implements a machine learning workflow that assigns multiple category labels to a single item by processing both textual and visual input data. The system utilizes multimodal feature extraction to transform images and text descriptions into semantic vectors. This process includes using pre-trained networks for visual feature extraction and semantic word averaging for text analysis, allowing the model to integrate different data types into a unified input. The pipeline covers the full machine learning life
Evaluates classification accuracy using precision and recall metrics compared to ground truth labels.
Ignite is a high-level training framework for PyTorch neural networks that serves as a training engine and deep learning lifecycle manager. It provides a structured system for organizing and automating training and evaluation loops, managing data iterators and triggering event handlers at specific milestones during the model training process. The project distinguishes itself through a comprehensive suite of tools for distributed training and model evaluation. It includes utilities for synchronizing gradients and coordinating collective communication across multiple GPUs or nodes, as well as a
Calculates accuracy and custom performance metrics to quantitatively analyze model effectiveness.
This project is a collection of structured study notes and notebooks serving as an educational resource for deep learning and neural network fundamentals. It provides a technical reference for implementing machine learning theory, covering everything from basic network design to the construction of advanced architectures. The material specifically focuses on the implementation of convolutional neural networks for computer vision and sequence models for natural language processing. It includes detailed guidance on building object detection systems, face recognition, and speech transcription mo
Defines quantitative metrics to measure project success and compare different machine learning algorithms.
This repository serves as the documentation source for the Hugging Face Hub, a collaborative platform designed for hosting, versioning, and discovering machine learning models, datasets, and interactive applications. It provides the foundational infrastructure for managing machine learning assets through Git-based repositories, which support large file storage, branching, and comprehensive commit history. The platform distinguishes itself by integrating metadata-driven discovery and structured management systems that allow users to attach licensing, task categories, and performance metrics to
Records standardized performance metrics and evaluation conditions within model cards to provide verifiable benchmarks.