awesome-repositories.com
Blog
MCP
awesome-repositories.com

Descoperă cele mai bune repository-uri open source cu căutare AI.

ExploreazăCăutări recomandateAlternative open-sourceSoftware self-hostedBlogHartă site
ProiectServer MCPDespreCum realizăm clasamentulPresă
LegalConfidențialitateTermeni
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

38 repository-uri

Awesome GitHub RepositoriesModel Prediction Evaluation

Systems for comparing model outputs against ground truth labels to calculate performance reports.

Distinct from Model Predictions: None of the candidates specifically cover the end-to-end evaluation of predictions against ground truth for general ML models.

Explore 38 awesome GitHub repositories matching artificial intelligence & ml · Model Prediction Evaluation. Refine with filters or upvote what's useful.

Awesome Model Prediction Evaluation GitHub Repositories

Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
  • rasbt/python-machine-learning-bookAvatar rasbt

    rasbt/python-machine-learning-book

    12,614Vezi pe GitHub↗

    This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ

    Provides a workflow for evaluating accuracy and tuning hyperparameters to improve the reliability of model predictions.

    Jupyter Notebook
    Vezi pe GitHub↗12,614
  • autogluon/autogluonAvatar autogluon

    autogluon/autogluon

    9,997Vezi pe GitHub↗

    AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

    Compares predicted probabilities and labels against ground truth data to generate comprehensive performance reports.

    Pythonautogluonautomated-machine-learningautoml
    Vezi pe GitHub↗9,997
  • yzhao062/pyodAvatar yzhao062

    yzhao062/pyod

    9,878Vezi pe GitHub↗

    PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

    Quantifies detection accuracy by comparing predicted outlier scores against ground truth labels.

    Pythonagentic-aianomaly-detectiondata-mining
    Vezi pe GitHub↗9,878
  • pymc-devs/pymcAvatar pymc-devs

    pymc-devs/pymc

    9,650Vezi pe GitHub↗

    PyMC is a Bayesian probabilistic programming framework used for building probabilistic models and performing Bayesian inference. It provides a probabilistic graphical model library for specifying random variables, priors, and likelihood functions, supported by an MCMC sampling engine and variational inference tools to estimate posterior distributions. The framework features a GPU-accelerated inference backend that compiles models into machine code to increase execution speed. It utilizes a backend-agnostic tensor execution model and just-in-time graph compilation to optimize the computation o

    Evaluates model fit by comparing observed data to simulated data from prior and posterior distributions.

    Pythonbayesian-inferencemcmcprobabilistic-programming
    Vezi pe GitHub↗9,650
  • facebookresearch/maskrcnn-benchmarkAvatar facebookresearch

    facebookresearch/maskrcnn-benchmark

    9,370Vezi pe GitHub↗

    This project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ

    Computes performance metrics by matching model predictions against ground truth data from standard datasets.

    Python
    Vezi pe GitHub↗9,370
  • vowpalwabbit/vowpal_wabbitAvatar VowpalWabbit

    VowpalWabbit/vowpal_wabbit

    8,683Vezi pe GitHub↗

    Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

    Evaluates and contrasts outputs of different trained models on the same input data.

    C++active-learningc-plus-pluscontextual-bandits
    Vezi pe GitHub↗8,683
  • casia-lmc-lab/fastsamAvatar CASIA-LMC-Lab

    CASIA-LMC-Lab/FastSAM

    8,364Vezi pe GitHub↗

    FastSAM is an image segmentation framework that uses convolutional neural networks to isolate visual elements and generate masks for detectable objects within images. It provides a system for both automatic all-object segmentation and promptable image segmentation. The project utilizes an inference-optimized architecture to reduce computational overhead, enabling faster mask generation and real-time visual analysis. It supports the creation of precise masks through various prompt inputs, including points, bounding boxes, and text descriptions. The framework covers broader computer vision cap

    Includes utilities to evaluate segmentation accuracy by comparing model predictions against ground-truth benchmark datasets.

    Python
    Vezi pe GitHub↗8,364
  • tingsongyu/pytorch_tutorialAvatar TingsongYu

    TingsongYu/PyTorch_Tutorial

    8,018Vezi pe GitHub↗

    This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

    Compares model outputs against ground truth labels using F1 scores to generate performance reports.

    Python
    Vezi pe GitHub↗8,018
  • evidentlyai/evidentlyAvatar evidentlyai

    evidentlyai/evidently

    7,137Vezi pe GitHub↗

    Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

    Compares model predictions against ground truth labels to calculate accuracy for classification and regression tasks.

    Jupyter Notebookdata-driftdata-qualitydata-science
    Vezi pe GitHub↗7,137
  • princewen/tensorflow_practiceAvatar princewen

    princewen/tensorflow_practice

    7,009Vezi pe GitHub↗

    This repository is a collection of practical deep learning implementations and examples built using the TensorFlow framework. It provides a variety of neural network architectures focusing on natural language processing, recommendation systems, reinforcement learning, and time series prediction. The project features a range of specialized models, including sequence-to-sequence and transformer architectures for text processing, and factorization machines for personalized ranking and retrieval. It also includes implementations of reinforcement learning agents using actor-critic and policy gradi

    Implements systems for comparing model predictions against ground truth to evaluate predictive accuracy.

    Python
    Vezi pe GitHub↗7,009
  • open-compass/opencompassAvatar open-compass

    open-compass/opencompass

    6,678Vezi pe GitHub↗

    OpenCompass is an open-source framework for standardized benchmarking of large language models. It provides a configurable evaluation pipeline that supports both objective and subjective assessment, using a dual-engine architecture to handle closed-form answer comparison and open-ended response rating. The framework is designed as a modular platform where datasets, models, and metrics are composed through declarative YAML configuration files. The framework distinguishes itself through its extensible model integration layer, which supports custom models, HuggingFace models, and third-party API

    Compares model predictions against ground-truth answers using discriminative and generative methods with prompt engineering.

    Pythonbenchmarkchatgptevaluation
    Vezi pe GitHub↗6,678
  • kserve/kserveAvatar kserve

    kserve/kserve

    5,576Vezi pe GitHub↗

    KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

    Configures autoscaling thresholds and batch settings to improve throughput and cost efficiency for fixed-size prediction workloads.

    Go
    Vezi pe GitHub↗5,576
  • obss/sahiAvatar obss

    obss/sahi

    5,372Vezi pe GitHub↗

    SAHI este un framework de inferență prin tăiere (sliced inference) și un pipeline de computer vision conceput pentru a detecta obiecte mici în imagini de înaltă rezoluție. Acesta oferă un sistem pentru divizarea imaginilor mari în patch-uri suprapuse pentru a preveni pierderea detaliilor care apare de obicei în timpul downscaling-ului standard al modelelor, alături de un utilitar de tiling al imaginilor și un toolkit pentru seturi de date COCO. Proiectul se distinge prin oferirea unui wrapper de predicție model-agnostic care standardizează diferite framework-uri de machine learning într-o interfață unificată. Acest lucru îi permite să implementeze inferența prin tăiere și detectarea obiectelor pe diverse backend-uri de modele, menținând în același timp un format de output consistent. Dincolo de inferență, framework-ul acoperă gestionarea seturilor de date pentru formatele COCO și YOLO, inclusiv instrumente pentru tăierea imaginilor adnotate, remaparea categoriilor și fuziunea seturilor de date. Include, de asemenea, o suită pentru evaluarea și monitorizarea performanței modelelor, având calculul metricilor pentru precizie și recall, analiza erorilor de detecție și vizualizarea rezultatelor. Toolkit-ul este accesibil printr-o interfață în linie de comandă pentru automatizarea fluxurilor de lucru de inferență pe directoare de imagini și fluxuri video.

    Calculates precision and recall metrics and generates error analysis plots by comparing predictions against ground truth.

    Python
    Vezi pe GitHub↗5,372
  • amdegroot/ssd.pytorchAvatar amdegroot

    amdegroot/ssd.pytorch

    5,224Vezi pe GitHub↗

    Acesta este un framework de detecție a obiectelor PyTorch care implementează Single Shot MultiBox Detector pentru identificarea și localizarea mai multor obiecte în imagini și video. Proiectul oferă o arhitectură de rețea neuronală concepută pentru detecția obiectelor într-o singură trecere (single-shot), care prezice bounding box-uri și etichete de clasă într-o singură execuție. Implementarea include un detector de obiecte în timp real capabil să proceseze fluxuri video live pentru a urmări și eticheta obiecte în cadre secvențiale. De asemenea, dispune de un pipeline complet de antrenare pentru viziune computerizată pentru pregătirea seturilor de date de imagini și antrenarea ponderilor modelului. Framework-ul acoperă fluxul de lucru end-to-end pentru sarcini de viziune, inclusiv încărcarea seturilor de date, antrenarea modelelor de deep learning cu accelerare hardware și evaluarea cantitativă a performanței folosind metrici și scripturi dedicate.

    Includes evaluation scripts to measure the accuracy of predicted bounding boxes against ground truth.

    Pythoncomputer-visiondeep-learningimage-recognition
    Vezi pe GitHub↗5,224
  • open-mmlab/mmaction2Avatar open-mmlab

    open-mmlab/mmaction2

    5,066Vezi pe GitHub↗

    mmaction2 este un set de instrumente PyTorch pentru înțelegerea video, conceput pentru antrenarea și evaluarea modelelor de deep learning. Servește ca un framework pentru recunoașterea acțiunilor, localizarea temporală și detectarea acțiunilor spatio-temporale, oferind instrumente specializate atât pentru analiza video bazată pe pixeli, cât și pentru recunoașterea acțiunilor bazată pe schelet. Proiectul se distinge printr-o arhitectură modulară care dispune de descoperirea componentelor bazată pe registru și asamblarea ierarhică a modelelor bazată pe configurație. Suportă fuziunea caracteristicilor multi-modale, integrând cadre RGB, flux optic și audio, și include capabilități pentru recuperarea clipurilor video din text și predicția video zero-shot. În linii mari, framework-ul acoperă ingineria seturilor de date video, inclusiv standardizarea adnotărilor și eșantionarea cadrelor, precum și antrenarea și evaluarea cuprinzătoare a modelelor. Oferă utilitare pentru antrenarea distribuită, distilarea cunoștințelor și optimizarea inferenței prin reparametrizarea modelului. Codul sursă suportă exportul modelelor ONNX și containerizarea mediului pentru implementarea pe diferite noduri de calcul.

    Measures model performance for action detection using mean average precision and temporal IoU thresholds.

    Python
    Vezi pe GitHub↗5,066
  • rafaelpadilla/object-detection-metricsAvatar rafaelpadilla

    rafaelpadilla/Object-Detection-Metrics

    5,098Vezi pe GitHub↗

    This project is an object detection evaluation library and benchmarking tool designed to calculate precision, recall, and average precision for computer vision models. It provides a suite of utilities for parsing bounding box coordinates from text files and calculating spatial overlap to determine detection accuracy. The toolkit features a command line interface for comparing ground truth files against model predictions. It includes a precision-recall curve generator to visualize the relationship between precision and recall across different confidence thresholds and an intersection over unio

    Measures the accuracy of computer vision models by comparing predicted bounding boxes against ground truth labels.

    Pythonaverage-precisionbounding-boxesmean-average-precision
    Vezi pe GitHub↗5,098
  • fastai/course-v3Avatar fastai

    fastai/course-v3

    4,914Vezi pe GitHub↗

    Acest proiect este un program educațional cuprinzător și un framework de deep learning conceput pentru a preda deep learning practic folosind PyTorch prin notebook-uri și exemple de cod. Servește drept bibliotecă de nivel înalt pentru construirea, antrenarea și implementarea rețelelor neuronale, acționând ca un orchestrator de antrenare a modelelor care coordonează modelele PyTorch, optimizatoarele și funcțiile de loss. Proiectul oferă toolkit-uri specializate pentru computer vision, procesarea limbajului natural și preprocesarea datelor tabelare. Se distinge prin controale avansate de antrenare, cum ar fi rate de învățare discriminative, un sistem de callback bidirecțional pentru personalizarea logicii de antrenare și o abstractizare de nivel înalt a learner-ului care automatizează plasarea pe dispozitiv și buclele de antrenare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția automată a pipeline-urilor de date, analiza arhitecturii modelelor și evaluarea performanței în sarcini de clasificare, regresie și segmentare. Include, de asemenea, utilitare pentru antrenarea distribuită pe mai multe GPU-uri, antrenarea cu precizie mixtă pentru optimizarea memoriei și suport specializat pentru date de imagistică medicală. Proiectul este livrat sub formă de serie de Jupyter Notebooks.

    fastai evaluates trained models by generating inputs, predictions, and losses on the fly to explore performance.

    Jupyter Notebookdata-sciencedeep-learningfastai
    Vezi pe GitHub↗4,914
  • blei-lab/edwardAvatar blei-lab

    blei-lab/edward

    4,841Vezi pe GitHub↗

    Edward is a probabilistic programming language and inference engine designed for building deep generative models and Bayesian neural networks. It utilizes the TensorFlow framework to represent probabilistic models as differentiable computational graphs. The library enables the construction of complex data distributions through Bayesian neural networks, mixture models, and Gaussian processes. It differentiates itself by providing an integrated toolkit for both supervised and unsupervised probabilistic modeling, including the implementation of generative adversarial networks and mixture density

    Analyzes model fit by comparing test statistics from generated data against real observed data.

    Jupyter Notebookbayesian-methodsdata-sciencedeep-learning
    Vezi pe GitHub↗4,841
  • weiliu89/caffeAvatar weiliu89

    weiliu89/caffe

    4,800Vezi pe GitHub↗

    Caffe este un framework de deep learning de înaltă performanță și o bibliotecă de rețele neuronale convoluționale concepută pentru antrenarea și implementarea rețelelor neuronale. Acesta funcționează ca un motor de machine learning accelerat prin GPU, cu un nucleu implementat în C++ pentru a permite operațiuni cu tensori de mare capacitate. Proiectul utilizează un sistem de configurare declarativ unde arhitecturile modelelor și hiperparametrii sunt definiți în fișiere text externe, separând designul rețelei de codul de execuție. Include un sistem de serializare a modelelor pentru a exporta ponderile și topologiile antrenate în fișiere binare pentru o implementare eficientă în diferite medii hardware. Framework-ul acoperă o gamă largă de capabilități, inclusiv designul arhitecturii rețelelor neuronale, antrenarea modelelor supervizate cu optimizare bazată pe gradient și fluxuri de lucru de clasificare a imaginilor. Oferă instrumente pentru preprocesarea seturilor de date, extragerea caracteristicilor neuronale și ajustarea fină (fine-tuning) a modelelor pre-antrenate. Nucleul C++ este accesibil printr-o interfață multi-limbaj cu binding-uri oficiale pentru Python și MATLAB.

    Improves processing speed through batch settings and hardware acceleration to increase inference throughput.

    C++
    Vezi pe GitHub↗4,800
  • pytorch/igniteAvatar pytorch

    pytorch/ignite

    4,770Vezi pe GitHub↗

    Ignite este un framework de antrenament de nivel înalt pentru rețele neuronale PyTorch, care servește drept motor de antrenament și manager al ciclului de viață al deep learning-ului. Oferă un sistem structurat pentru organizarea și automatizarea buclelor de antrenament și evaluare, gestionând iteratoarele de date și declanșând handler-e de evenimente la etape specifice în timpul procesului de antrenare a modelului. Proiectul se distinge printr-o suită cuprinzătoare de instrumente pentru antrenament distribuit și evaluarea modelelor. Include utilitare pentru sincronizarea gradienților și coordonarea comunicării colective între mai multe GPU-uri sau noduri, precum și o suită de evaluare pentru calcularea metricilor de performanță și efectuarea validării încrucișate (k-fold cross-validation). Capabilitățile sale mai largi acoperă automatizarea fluxului de lucru de antrenament, inclusiv programarea ratei de învățare, oprirea timpurie (early stopping) și optimizarea hiperparametrilor. Framework-ul oferă, de asemenea, instrumente de observabilitate pentru urmărirea experimentelor, profilarea timpului de execuție și antrenamentul cu precizie mixtă pentru a optimiza utilizarea memoriei. Sunt incluse mecanisme de persistență a stării pentru a gestiona checkpoint-urile modelelor și a recupera sesiunile de antrenament. Sunt disponibile medii containerizate pentru a simplifica implementarea și configurarea mediului.

    Processes data batches in evaluation mode to generate predictions and labels without computing gradients.

    Python
    Vezi pe GitHub↗4,770
Înapoi12Înainte
  1. Home
  2. Artificial Intelligence & ML
  3. Model Prediction Evaluation

Explorează sub-etichetele

  • Agent Prediction EvaluationsEvaluates batches of agent predictions against expected results to determine correctness using configurable judging methods. **Distinct from Model Prediction Evaluation:** Distinct from Model Prediction Evaluation: focuses on evaluating agent trajectories and tool-call sequences, not general ML model outputs.
  • Batch Prediction AnalyzersGenerates predictions, targets, decoded outputs, and losses on the fly using batch processing to interpret model behavior. **Distinct from Model Prediction Evaluation:** Distinct from Model Prediction Evaluation: focuses on generating and analyzing predictions during batch processing, not just comparing against ground truth.
  • Distribution AnalysisVisual and statistical analysis of predicted distributions to verify data pattern capture. **Distinct from Model Prediction Evaluation:** Distinct from general prediction evaluation by focusing on density plots and sampling from the learned distributions.
  • Generative Model Criticism1 sub-tagEvaluating if a generative model captures the underlying data generating process through fit and predictive performance analysis. **Distinct from Model Prediction Evaluation:** Focuses on 'criticism' (determining if the model process is correct) rather than just calculating prediction error against labels.
  • Metric Selection GuidesGuidance for choosing evaluation metrics like MAPE when predictions must stay within a percentage of actual values. **Distinct from Model Prediction Evaluation:** Distinct from Model Prediction Evaluation: provides prescriptive guidance on metric selection rather than systems for comparing outputs against ground truth.
  • Object Detection Evaluators1 sub-tagSpecialized tools for comparing predicted bounding boxes against ground truth to report detection accuracy. **Distinct from Model Prediction Evaluation:** Focuses specifically on the evaluation of bounding boxes, while the parent is a general prediction evaluator.
  • Posterior Predictive ChecksThe process of validating a model by comparing observed data to simulated data from the posterior. **Distinct from Model Prediction Evaluation:** Specifically refers to Bayesian predictive checking, distinct from general ML prediction evaluation against ground truth.
  • Prediction Interval Reliability AnalysisEvaluation of the statistical reliability of prediction intervals using nonconformity scores. **Distinct from Model Prediction Evaluation:** Distinct from general model prediction evaluation as it specifically assesses the reliability of the uncertainty intervals themselves.
  • Predictive Power Optimizations1 sub-tagImprovement of model fit through feature engineering and addressing multicollinearity. **Distinct from Model Prediction Evaluation:** Focuses on the active improvement of a model's predictive power rather than the static evaluation of a prediction.
  • Predictive Reliability TuningsProcesses for adjusting model hyperparameters specifically to increase the consistency and reliability of predictions. **Distinct from Model Prediction Evaluation:** Focuses on the iterative tuning for reliability, whereas Model Prediction Evaluation is the measurement of that reliability.