Awesome GitHub RepositoriesObservability and Evaluation

OpenLLMetry is an OpenTelemetry-based observability framework and instrumentation library for generative AI applications. It provides toolsets for tracing and monitoring large language model workflows, capturing telemetry from model providers, agent frameworks, and vector databases using standardized semantic conventions. The project distinguishes itself by providing a specialized evaluation and experimentation suite that associates user feedback and prompt version hashes with specific execution traces. It includes a system for tracking model reasoning paths and enforcing security guardrails

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

Giskard ist ein Evaluierungs-Framework, eine Test-Bibliothek und ein Qualitätsüberwachungssystem für Large Language Models und KI-Agenten. Es dient als Toolkit zur Quantifizierung von Modellleistung und -zuverlässigkeit und bietet spezialisierte Funktionen zur Validierung von RAG-Pipelines (Retrieval-Augmented Generation). Das Projekt zeichnet sich durch ein automatisiertes Red-Teaming-Tool und einen Sicherheitsscanner aus, die darauf ausgelegt sind, Schwachstellen, Prompt-Injections und Sicherheitsrisiken zu identifizieren. Es nutzt adversarielles Probing und die Generierung synthetischer Edge-Cases, um die Robustheit von Modellen zu quantifizieren und Informationsabflüsse zu erkennen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter die Erkennung von faktischer Genauigkeit und Halluzinationen, Benchmarking von Schlussfolgerungen und Logik sowie die Erkennung von Bias. Es bietet Tools für Regressionstests, die Bewertung von RAG-Komponenten und die automatisierte Generierung von Testfällen aus Wissensdatenbanken. Das System umfasst Managementfunktionen für kollaborative Team-Workspaces, rollenbasierte Zugriffskontrolle und geplante Evaluierungspipelines zur Überwachung von Performance-Drift im Zeitverlauf.

Deepchecks ist ein Framework zur Validierung von Machine-Learning-Modellen und eine MLOps-Testbibliothek. Es dient als Suite für KI-Datenqualität und Leistungsbewertung, die entwickelt wurde, um die Integrität und Performance von Modellen und Datensätzen von der Forschung bis zur Produktion zu verifizieren. Das Projekt fungiert als Modell-Monitoring-Tool zur Verfolgung von Data Drift und Leistungsverschlechterung in Produktionsumgebungen. Es ermöglicht die Erstellung benutzerdefinierter Validierungssuiten und nutzt eine erweiterbare Check-Architektur, um Qualitätsprüfungen innerhalb von CI/CD-Pipelines zu automatisieren. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Datenintegritätsprüfung, verteilungsbasierter Drift-Erkennung und Modellversionsvergleich. Es bietet spezialisierte Analysen für Computer Vision und Natural Language Processing sowie Reporting-Tools, die Validierungsmetriken in interaktive visuelle Berichte umwandeln. Das System unterstützt die On-Premises-Bereitstellung, um Datensicherheit und Infrastrukturkontrolle zu wahren.

Track AI API quotas across Synthetic, Z.ai, Anthropic (Claude Code), Codex, GitHub Copilot & Antigravity in real time. Lightweight background daemon (<50MB RAM), SQLite storage, Material Design 3 dashboard. Zero telemetry.

Open Source AI Tracing Framework built on Opentelemetry for AI Applications and Frameworks

Fiddler Auditor is a tool to evaluate language models.

Regression testing for AI agents. Snapshot behavior,diff tool calls,catch regressions in CI. Works with LangGraph, CrewAI, OpenAI, Anthropic.

"Batteries included" logging solution for your Azure OpenAI instance.

AISecOps (AI Security Operations) framework for deterministic verification of AI systems. QWED verifies LLM outputs using math, logic, and symbolic execution — creating an auditable trust boundary for agentic AI systems. Not generation. Verification.

Production-grade AI evaluation, prompt management & observability SDK. Automated evaluations with sub-100ms guardrails. No human-in-the-loop required. Python TypeScript.

Automated detection of knowledge gaps and blind spots in RAG vector stores.

EXPLAIN ANALYZE for RAG retrieval — inspect, debug, benchmark, and tune your retrieval layer