Awesome GitHub RepositoriesCollaborative Dataset Management

FiftyOne ist ein visuelles Tool zum Kuratieren, Analysieren und Verwalten von Bild- und Videodatensätzen für das Training von Machine-Learning-Modellen. Es dient als Plattform zur Identifizierung von Annotationsfehlern, zur Verfeinerung von Ground-Truth-Labels und zur Evaluierung der Performance von Vision-Modellen durch den Vergleich von Vorhersagen mit Ground-Truth, um Fehlermodi zu identifizieren. Das System fungiert als containerisierte Datenplattform, die die Team-Kollaboration an großskaligen visuellen Datensätzen in einer Cloud-Umgebung unterstützt. Es enthält spezialisierte Funktionen zur Erkundung hochdimensionaler Embeddings, um Datencluster zu entdecken und entsprechende visuelle Samples abzurufen. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich 2D- und 3D-Datenannotation, Validierung der Datensatzqualität und visueller Datenexploration. Sie lässt sich in Deep-Learning-Frameworks integrieren, um Daten von der Kuratierung zum Modelltraining zu überführen, und nutzt einen dokumentenbasierten Metadatenspeicher zur Verwaltung von Datensatzstrukturen.

Kiln ist eine LLM-Entwicklungs-Workbench und ein Evaluierungs-Framework, das für das Design, das Testen und die Optimierung von Prompts und KI-Agenten entwickelt wurde. Es fungiert als Multi-Agenten-Orchestrator und RAG-Optimierungstool und bietet eine visuelle Schnittstelle für die iterative Entwicklung von KI-Systemen. Das Projekt zeichnet sich durch eine umfassende Fine-Tuning-Pipeline aus, die Zero-Code-Modelltraining und Reasoning-Destillation unterstützt. Es ermöglicht die Erstellung hierarchischer Multi-Agenten-Systeme, in denen spezialisierte Akteure über Tool-Calling koordinieren, und implementiert einen Model Context Protocol-Server, um diese Agenten und Suchfunktionen als standardisierte Tools für externe Clients bereitzustellen. Die Plattform deckt ein breites Spektrum an Fähigkeiten ab, einschließlich automatisierter KI-Jury-Bewertung zur Qualitätssicherung, synthetischer Datengenerierung für Training und Evaluierung sowie hybrider Vektor-Keyword-Suche zur Erdung von Modellantworten. Sie bietet zudem Tools für Prompt-Evolution, Trace-Auditing und die Verwaltung kollaborativer Datensätze via Git-Integration. Die Workbench ist über eine selbst-hostbare REST-API und eine dedizierte Python-Bibliothek für die programmatische Workflow-Ausführung zugänglich.