Awesome GitHub RepositoriesHuman-in-the-Loop Annotation

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ClearML is a comprehensive MLOps platform designed to manage the entire machine learning lifecycle. It functions as an experiment tracking tool, a data versioning system, and a pipeline orchestrator, while providing infrastructure for GPU cluster management and model serving. The platform is distinguished by its ability to handle hybrid-cloud compute scheduling and fractional GPU allocation, allowing multiple workloads to share a single hardware accelerator. It employs a metadata-based approach to data versioning, using virtual views to track large datasets and artifacts without duplicating r

Giskard ist ein Evaluierungs-Framework, eine Test-Bibliothek und ein Qualitätsüberwachungssystem für Large Language Models und KI-Agenten. Es dient als Toolkit zur Quantifizierung von Modellleistung und -zuverlässigkeit und bietet spezialisierte Funktionen zur Validierung von RAG-Pipelines (Retrieval-Augmented Generation). Das Projekt zeichnet sich durch ein automatisiertes Red-Teaming-Tool und einen Sicherheitsscanner aus, die darauf ausgelegt sind, Schwachstellen, Prompt-Injections und Sicherheitsrisiken zu identifizieren. Es nutzt adversarielles Probing und die Generierung synthetischer Edge-Cases, um die Robustheit von Modellen zu quantifizieren und Informationsabflüsse zu erkennen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter die Erkennung von faktischer Genauigkeit und Halluzinationen, Benchmarking von Schlussfolgerungen und Logik sowie die Erkennung von Bias. Es bietet Tools für Regressionstests, die Bewertung von RAG-Komponenten und die automatisierte Generierung von Testfällen aus Wissensdatenbanken. Das System umfasst Managementfunktionen für kollaborative Team-Workspaces, rollenbasierte Zugriffskontrolle und geplante Evaluierungspipelines zur Überwachung von Performance-Drift im Zeitverlauf.

Argilla is a collaborative AI feedback tool and data curation management system. It serves as a human-in-the-loop dataset platform designed to coordinate workforce annotators and domain experts in labeling, rating, and refining data samples for machine learning projects. The platform focuses on large language model dataset curation and reinforcement learning from human feedback workflows. It provides a shared workspace for integrating human expertise into AI development to validate model outputs and correct data errors. The system manages the end-to-end machine learning data pipeline, includ