19 Repos
Tools for testing and validating model performance and data quality.
Explore 19 awesome GitHub repositories matching part of an awesome list · Model Validation. Refine with filters or upvote what's useful.
This is a real-time object detection framework built on the YOLOv3 architecture, implemented in PyTorch. It provides a complete pipeline for identifying and localizing objects in images and video using a single neural network pass, combining a Darknet-53 backbone with multi-scale feature pyramids and anchor-based bounding box prediction. The framework extends beyond basic detection to include instance segmentation, human pose estimation, and multi-object tracking across video frames. It offers a model export toolkit that converts trained models through ONNX to CoreML, TensorFlow Lite, and Ten
Provides built-in validation of precision, recall, and mean average precision for trained detection models.
Markdoc is a documentation content framework that extends standard Markdown with custom tags, typed schemas, and reusable components, parsing content into an abstract syntax tree and rendering it as React elements or HTML. It provides a structured authoring system where documents are processed through an AST-based pipeline, enabling validation, transformation, and flexible output generation. The framework distinguishes itself through a schema-driven validation pipeline that checks document structure and attribute values against defined rules, and a pluggable renderer architecture that accepts
Runs user-defined validation functions on tag and node attributes to enforce value constraints.
Dies ist ein umfassender Lehrplan, der darauf ausgelegt ist, die Grundlagen des Machine Learning mit der Programmiersprache Python zu vermitteln. Er bietet einen strukturierten Kurs, der die Implementierung und Theorie von überwachtem Lernen, unüberwachtem Lernen und Deep Learning abdeckt. Der Lehrplan wird durch interaktive Notebooks vermittelt, die ausführbaren Code mit technischen Tutorials kombinieren. Er enthält dedizierte Leitfäden zum Aufbau neuronaler Netzwerkarchitekturen, zur Implementierung von Klassifizierungs- und Regressionsmodellen sowie zur Nutzung von Clustering-Techniken zur Mustererkennung in ungelabelten Daten. Die Materialien decken den gesamten Machine-Learning-Workflow ab, einschließlich Datenvorverarbeitung und kategorialer Kodierung, Modelltraining und Hyperparameter-Tuning sowie Performance-Evaluierung. Er bietet zudem Tools zur Visualisierung des Modellverhaltens, wie z. B. das Plotten von Entscheidungsgrenzen und Entscheidungsbaumdiagrammen.
Teaches techniques for validating model performance using holdout and cross-validation strategies.
This project is a web development tutorial site and a Ruby on Rails learning resource designed as a beginner programming guide. It serves as a technical workshop curriculum and a structured framework for organizing and coaching community-led programming events. The site functions as a static site generator that converts Markdown content and templates into pre-rendered HTML pages. This architecture supports the delivery of step-by-step guides and instructional materials used to teach new learners how to build web applications. The content covers a broad range of capabilities, including Ruby o
Instructs on how to ensure required attributes are present and valid before saving to the database.
Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl
Applies the same validation logic to different language models, including major providers and integrations with popular frameworks.
MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra
Detects incorrect attribute usage and missing annotations at compile time via analyzers.
This project is a business rules management system and rule engine designed to define, execute, and manage complex business logic decoupled from application source code. It provides a business logic compiler that transforms human-readable rule definitions into executable models for high-performance runtime evaluation. The system includes a complex event processing engine for analyzing real-time data streams to identify temporal patterns and a decision model and notation executor that processes structured logic based on industry standards for deterministic results. It utilizes an inference eng
Transforms human-readable rule resources into a compiled executable model for high-performance runtime evaluation.
A light-weight REST API development framework for ASP.NET 8 and newer.
Compiles validation rules defined as attributes or fluent configurations into efficient runtime checks.
attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it
Attaches validation logic to individual attributes that runs during initialization.
SuperduperDB ist ein KI-Agenten-Orchestrator und eine datenbankintegrierte Machine-Learning-Plattform. Sie dient als Framework zum Aufbau zustandsbehafteter KI-Agenten und Retrieval-Augmented-Generation-Anwendungen durch die direkte Integration von Large Language Models mit Datenbank-Backends. Das Projekt ermöglicht die Bereitstellung selbst gehosteter KI-Infrastruktur und die Verwaltung von Sprachmodellen auf privater Hardware unter Verwendung lokaler Checkpoints. Es zeichnet sich dadurch aus, dass Benutzer KI-Komponenten direkt an Datenfelder anheften können, was die Modellausführung und automatisierte Transformationen basierend auf Datenbank-Inserts und -Updates auslöst. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Machine-Learning-Orchestrierung für Training und Fine-Tuning, Vektor-Suchintegration für multimodales Retrieval und eine Backend-agnostische Datenschicht, die verschiedene SQL- und NoSQL-Speichermodelle unterstützt. Sie bietet zudem Tools für deklarative Workflow-Orchestrierung und das Packaging wiederverwendbarer KI-Anwendungen. Das System ist in Python implementiert und bietet eine einheitliche API für die Interaktion mit mehreren Datenbank-Backends.
Includes tools for attaching validation functions to models to verify the accuracy and quality of generated results.
Superduper ist ein Entwicklungs-Kit für KI-Agenten und ein LLM-Anwendungs-Framework, das darauf ausgelegt ist, autonome Agenten und datengesteuerte Anwendungen zu bauen. Es fungiert als RAG-Orchestrierungsplattform und Vektor-Suchinfrastruktur, die KI-Modelle mit Datenbankspeicherung koordiniert, um mehrstufige Berechnungen und Aktionen unter Verwendung persistenter Datenzustände durchzuführen. Das Projekt zeichnet sich dadurch aus, dass es eine datenbankintegrierte Machine-Learning-Pipeline bereitstellt, die Trainings- und Inferenzaufgaben direkt auf Daten ausführt, die in SQL- und NoSQL-Datenbanken gehostet werden. Es ermöglicht die Bereitstellung selbst gehosteter KI-Infrastruktur auf privater Hardware, was die volle Kontrolle über Inferenz und Daten ermöglicht. Das Framework deckt eine breite Funktionsfläche ab, einschließlich einheitlicher Speicher-APIs für verschiedene Datenbank-Backends, automatisiertem Schema-Mapping und Vektor-Index-Synchronisation für semantische Suche. Es bietet zudem Tools für die Ausführung von KI-Workflows, ereignisgesteuertes Modell-Triggering und das Packaging von Anwendungslogik in portable, wiederverwendbare Templates. Das System unterstützt die Integration mit diversen Machine-Learning-Frameworks und gehosteten APIs über eine Plugin-basierte Abstraktionsschicht.
Includes tools for validating the quality and accuracy of outputs generated by integrated AI models.
Yolact ist ein Computer-Vision-Framework und ein Echtzeit-Instanz-Segmentierungsmodell. Es nutzt ein vollständig konvolutionales neuronales Netzwerk (CNN), um Objekte zu erkennen und Pixel-Level-Masken für Bilder und Videostreams zu generieren. Das System verwendet prototypische Maskengenerierung, um globale Masken-Prototypen zu erstellen, die für instanzspezifische Ergebnisse linear kombiniert werden. Es integriert deformierbare konvolutionale Schichten und deformierbares Region-of-Interest-Pooling, um das räumliche Sampling an die unregelmäßigen Formen von Objekten anzupassen. Das Framework deckt den gesamten Modellentwicklungs-Lebenszyklus ab, einschließlich Training auf benutzerdefinierten Datensätzen, Genauigkeitsevaluierung mittels mean Average Precision (mAP) und die Nutzung von Multi-GPU-verteiltem Training zur Skalierung der Verarbeitungsgeschwindigkeit. Es bietet zudem Medienverarbeitungs-Dienstprogramme zum Anwenden von Segmentierungsmasken auf Bilder und zum Exportieren annotierter Videodateien. Das Projekt enthält Tools zur Statuspersistenz für das Checkpoint-Management und die Wiederaufnahme des Trainings sowie Logging zur Aufzeichnung von Metriken und Verlustwerten.
Evaluates model precision and mean average precision against validation subsets during training.
Dieses Projekt ist ein Framework für wissenschaftliches Rechnen im .NET-Ökosystem und bietet eine umfassende Suite von Bibliotheken für numerische Analyse, Statistik und mathematische Optimierung. Es dient als grundlegendes Toolkit für die Entwicklung von Anwendungen in den Bereichen Machine Learning, digitale Signalverarbeitung und Computer Vision. Das Framework bietet spezialisierte Toolkits für das Training und die Bereitstellung prädiktiver Modelle, einschließlich neuronaler Netze, Support Vector Machines und Entscheidungsbäumen. Es zeichnet sich zudem durch tiefe Integrationen für Echtzeit-Bildanalyse aus, wie etwa Objektverfolgung und Gesichtserkennung, ergänzt durch eine dedizierte Bibliothek für digitale Signalverarbeitung zur Erfassung und Filterung von Audio- und Sensorsignalen. Das Funktionsspektrum erstreckt sich auf hochgradige Matrixzerlegung und lineare Algebra, probabilistische Zustandsmodellierung und heuristische Suchalgorithmen. Es deckt zudem eine breite Palette an Datenmanipulations-Dienstprogrammen ab, von Dimensionsreduktion und Normalisierung bis hin zur Organisation räumlicher Daten und Komponenten für wissenschaftliche Visualisierung. Das System enthält Hardware-Integrationscontroller für Kamerakonfiguration, GPIO-Port-Management und spezialisierte Tiefensensor-Hardware.
Ships statistical techniques to measure model generalization to unseen data via k-fold cross-validation.
Deepchecks ist ein Framework zur Validierung von Machine-Learning-Modellen und eine MLOps-Testbibliothek. Es dient als Suite für KI-Datenqualität und Leistungsbewertung, die entwickelt wurde, um die Integrität und Performance von Modellen und Datensätzen von der Forschung bis zur Produktion zu verifizieren. Das Projekt fungiert als Modell-Monitoring-Tool zur Verfolgung von Data Drift und Leistungsverschlechterung in Produktionsumgebungen. Es ermöglicht die Erstellung benutzerdefinierter Validierungssuiten und nutzt eine erweiterbare Check-Architektur, um Qualitätsprüfungen innerhalb von CI/CD-Pipelines zu automatisieren. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Datenintegritätsprüfung, verteilungsbasierter Drift-Erkennung und Modellversionsvergleich. Es bietet spezialisierte Analysen für Computer Vision und Natural Language Processing sowie Reporting-Tools, die Validierungsmetriken in interaktive visuelle Berichte umwandeln. Das System unterstützt die On-Premises-Bereitstellung, um Datensicherheit und Infrastrukturkontrolle zu wahren.
Validates machine learning models and data with automated suites.
Minigo is a TensorFlow-based reinforcement learning engine designed to master the game of Go. It functions as a comprehensive system for training neural networks to predict board policies and game outcomes, utilizing a model trainer to generate self-play data and optimize weights. The project is distinguished by its ability to perform large-scale game simulations using Kubernetes to distribute worker nodes across CPU, GPU, and TPU hardware. It employs a Monte Carlo Tree Search implementation to identify optimal moves and supports specialized hardware acceleration, including inference on Edge
Validates model performance and tracks overfitting by computing error rates against high-quality game data.
AgiBot-World is a suite of software pipelines and tools designed for robotic policy training, dataset standardization, embodiment transfer, and performance benchmarking. It provides infrastructure for developing bimanual manipulation policies using foundation models and human-reference trajectory data. The project features a robot embodiment transfer suite that adapts pre-trained models to different robot bodies without requiring new multi-embodiment training data. It also includes a specialized evaluation framework for validating vision-language-action models through open-loop testing and ph
Provides a testing suite for vision-language-action models using open-loop validation and hardware replays.
Backbone.validation is a JavaScript library designed to enforce data integrity within Backbone.js models. It provides a framework for defining declarative validation schemas that intercept attribute changes, ensuring that data meets specified business requirements before it is committed to the model. The library distinguishes itself by tightly coupling model-level validation with user interface components. It features an event-driven binding system that monitors model states and automatically triggers interface updates, providing real-time feedback as users interact with forms. This approach
Configures validation schemas for model attributes to ensure data meets business requirements before persistence.
an MLOps/LLMOps platform
Platform for model building, evaluation, and fine-tuning.
Product analytics for AI Assistants
Validates models using expert feedback and data science insights.