Awesome GitHub RepositoriesModel Prediction Evaluation

This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

PyMC is a Bayesian probabilistic programming framework used for building probabilistic models and performing Bayesian inference. It provides a probabilistic graphical model library for specifying random variables, priors, and likelihood functions, supported by an MCMC sampling engine and variational inference tools to estimate posterior distributions. The framework features a GPU-accelerated inference backend that compiles models into machine code to increase execution speed. It utilizes a backend-agnostic tensor execution model and just-in-time graph compilation to optimize the computation o

This project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

FastSAM is an image segmentation framework that uses convolutional neural networks to isolate visual elements and generate masks for detectable objects within images. It provides a system for both automatic all-object segmentation and promptable image segmentation. The project utilizes an inference-optimized architecture to reduce computational overhead, enabling faster mask generation and real-time visual analysis. It supports the creation of precise masks through various prompt inputs, including points, bounding boxes, and text descriptions. The framework covers broader computer vision cap

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

This repository is a collection of practical deep learning implementations and examples built using the TensorFlow framework. It provides a variety of neural network architectures focusing on natural language processing, recommendation systems, reinforcement learning, and time series prediction. The project features a range of specialized models, including sequence-to-sequence and transformer architectures for text processing, and factorization machines for personalized ranking and retrieval. It also includes implementations of reinforcement learning agents using actor-critic and policy gradi

OpenCompass is an open-source framework for standardized benchmarking of large language models. It provides a configurable evaluation pipeline that supports both objective and subjective assessment, using a dual-engine architecture to handle closed-form answer comparison and open-ended response rating. The framework is designed as a modular platform where datasets, models, and metrics are composed through declarative YAML configuration files. The framework distinguishes itself through its extensible model integration layer, which supports custom models, HuggingFace models, and third-party API

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

SAHI ist ein Sliced-Inference-Framework und eine Computer-Vision-Pipeline, die entwickelt wurde, um kleine Objekte in hochauflösenden Bildern zu erkennen. Es bietet ein System zur Unterteilung großer Bilder in überlappende Patches, um den Detailverlust zu verhindern, der typischerweise bei der Standard-Modell-Herunterskalierung auftritt, sowie ein Bild-Tiling-Dienstprogramm und ein COCO-Datensatz-Toolkit. Das Projekt zeichnet sich durch einen modellagnostischen Vorhersage-Wrapper aus, der verschiedene Machine-Learning-Frameworks in eine einheitliche Schnittstelle standardisiert. Dies ermöglicht die Implementierung von Sliced Inference und Objekterkennung über verschiedene Modell-Backends hinweg bei gleichzeitiger Beibehaltung eines konsistenten Ausgabeformats. Über die Inferenz hinaus deckt das Framework das Datensatzmanagement für COCO- und YOLO-Formate ab, einschließlich Tools für annotiertes Bild-Slicing, Kategorien-Remapping und Datensatz-Zusammenführung. Es enthält zudem eine Suite zur Bewertung und Überwachung der Modellleistung, mit Metrikberechnung für Präzision und Recall, Erkennungsfehleranalyse und Ergebnisvisualisierung. Das Toolset ist über eine Befehlszeilenschnittstelle zugänglich, um Inferenz-Workflows über Bildverzeichnisse und Videostreams hinweg zu automatisieren.

Dies ist ein PyTorch-Objekterkennungs-Framework, das den Single Shot MultiBox Detector (SSD) zur Identifizierung und Lokalisierung mehrerer Objekte innerhalb von Bildern und Videos implementiert. Das Projekt bietet eine neuronale Netzwerkarchitektur, die für Single-Shot-Objekterkennung konzipiert ist und Begrenzungsrahmen (Bounding Boxes) sowie Klassen-Labels in einem Durchgang vorhersagt. Die Implementierung umfasst einen Echtzeit-Objekterkenner, der in der Lage ist, Live-Videostreams zu verarbeiten, um Objekte über aufeinanderfolgende Frames hinweg zu verfolgen und zu labeln. Es enthält zudem eine vollständige Computer-Vision-Trainingspipeline zur Vorbereitung von Bilddatensätzen und zum Training von Modellgewichten. Das Framework deckt den End-to-End-Workflow für Vision-Aufgaben ab, einschließlich Datensatz-Laden, Deep-Learning-Modelltraining mit Hardwarebeschleunigung sowie quantitative Leistungsbewertung mittels dedizierter Metriken und Skripte.

mmaction2 ist eine PyTorch-Toolbox für das Videoverständnis, die für das Training und die Evaluierung von Deep-Learning-Modellen entwickelt wurde. Sie dient als Framework für Aktionserkennung, zeitliche Lokalisierung und räumlich-zeitliche Aktionserkennung und bietet spezialisierte Tools sowohl für pixelbasierte Videoanalyse als auch für skelettbasierte Aktionserkennung. Das Projekt zeichnet sich durch eine modulare Architektur mit registerbasierter Komponentenerkennung und hierarchischem, konfigurationsgesteuertem Modell-Assembly aus. Es unterstützt multimodale Feature-Fusion, integriert RGB-Frames, optischen Fluss und Audio und enthält Funktionen für Text-zu-Video-Clip-Retrieval und Zero-Shot-Videovorhersage. Das Framework deckt breit gefächert das Video-Dataset-Engineering ab, einschließlich Annotationsstandardisierung und Frame-Sampling, sowie umfassendes Modelltraining und -evaluierung. Es bietet Dienstprogramme für verteiltes Training, Knowledge Distillation und Inferenzoptimierung durch Modell-Reparametrisierung. Die Codebasis unterstützt den ONNX-Modell-Export und die Containerisierung der Umgebung für das Deployment über verschiedene Rechenknoten hinweg.

This project is an object detection evaluation library and benchmarking tool designed to calculate precision, recall, and average precision for computer vision models. It provides a suite of utilities for parsing bounding box coordinates from text files and calculating spatial overlap to determine detection accuracy. The toolkit features a command line interface for comparing ground truth files against model predictions. It includes a precision-recall curve generator to visualize the relationship between precision and recall across different confidence thresholds and an intersection over unio

Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.

Edward ist eine probabilistische Programmiersprache und Inference-Engine für den Aufbau tiefer generativer Modelle und Bayes'scher neuronaler Netze. Es nutzt das TensorFlow-Framework, um probabilistische Modelle als differenzierbare Berechnungsgraphen darzustellen. Die Bibliothek ermöglicht die Konstruktion komplexer Datenverteilungen durch Bayes'sche neuronale Netze, Mischmodelle und Gauß-Prozesse. Sie zeichnet sich durch ein integriertes Toolkit für überwachtes und unüberwachtes probabilistisches Modellieren aus, einschließlich der Implementierung von Generative Adversarial Networks (GANs) und Mixture Density Networks. Das Framework deckt eine breite Palette an Inferenzmethoden ab, darunter amortisierte variationelle Inferenz, Gibbs-Sampling und Maximum-a-posteriori-Schätzung. Zudem enthält es eine umfassende Suite an Tools zur Modellevaluierung für Posterior Predictive Checking, Residualanalyse und Parametervalidierung, um die Modellgüte und Vorhersagegenauigkeit zu diagnostizieren. Das System unterstützt skalierbares Training durch Batch- und Minibatch-Verarbeitung sowie integrierte Funktionen zur Überwachung des Trainingsfortschritts und zur Visualisierung von Ausführungsgraphen.

Caffe ist ein leistungsstarkes Deep-Learning-Framework und eine Bibliothek für Convolutional Neural Networks, die für das Training und Deployment neuronaler Netze entwickelt wurde. Es fungiert als GPU-beschleunigte Machine-Learning-Engine mit einem in C++ implementierten Kern, um Tensor-Operationen mit hohem Durchsatz zu ermöglichen. Das Projekt nutzt ein deklaratives Konfigurationssystem, bei dem Modellarchitekturen und Hyperparameter in externen Textdateien definiert werden, wodurch das Netzwerkdesign vom Ausführungscode getrennt wird. Es enthält ein Modell-Serialisierungssystem, um trainierte Gewichte und Topologien für ein effizientes Deployment in verschiedenen Hardwareumgebungen in Binärdateien zu exportieren. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich des Designs neuronaler Netzwerkarchitekturen, des überwachten Modelltrainings mit gradientenbasierter Optimierung und Workflows für die Bildklassifizierung. Es bietet Tools für die Dataset-Vorverarbeitung, die Extraktion neuronaler Features und das Fine-Tuning vortrainierter Modelle. Der C++-Kern ist über eine mehrsprachige Schnittstelle mit offiziellen Bindings für Python und MATLAB zugänglich.

Ignite ist ein High-Level-Trainings-Framework für PyTorch-Neuronale Netze, das als Trainings-Engine und Deep-Learning-Lifecycle-Manager dient. Es bietet ein strukturiertes System zur Organisation und Automatisierung von Trainings- und Evaluierungsschleifen, verwaltet Daten-Iteratoren und löst Event-Handler bei bestimmten Meilensteinen während des Modelltrainings aus. Das Projekt zeichnet sich durch eine umfassende Suite von Tools für verteiltes Training und Modellevaluierung aus. Es enthält Dienstprogramme zur Synchronisierung von Gradienten und zur Koordination kollektiver Kommunikation über mehrere GPUs oder Knoten hinweg sowie eine Evaluierungssuite zur Berechnung von Leistungsmetriken und zur Durchführung von k-facher Kreuzvalidierung. Die breiteren Funktionen umfassen die Automatisierung von Trainings-Workflows, einschließlich Learning-Rate-Scheduling, Early Stopping und Hyperparameter-Optimierung. Das Framework bietet zudem Observability-Tools für Experiment-Tracking, Profiling der Ausführungszeit und Mixed-Precision-Training zur Optimierung der Speicherauslastung. Mechanismen zur Statuspersistenz sind enthalten, um Modell-Checkpoints zu verwalten und Trainingssitzungen wiederherzustellen. Containerisierte Umgebungen sind verfügbar, um die Bereitstellung und Einrichtung zu vereinfachen.