Awesome GitHub RepositoriesOptimization Workbenches

Kiln ist eine LLM-Entwicklungs-Workbench und ein Evaluierungs-Framework, das für das Design, das Testen und die Optimierung von Prompts und KI-Agenten entwickelt wurde. Es fungiert als Multi-Agenten-Orchestrator und RAG-Optimierungstool und bietet eine visuelle Schnittstelle für die iterative Entwicklung von KI-Systemen. Das Projekt zeichnet sich durch eine umfassende Fine-Tuning-Pipeline aus, die Zero-Code-Modelltraining und Reasoning-Destillation unterstützt. Es ermöglicht die Erstellung hierarchischer Multi-Agenten-Systeme, in denen spezialisierte Akteure über Tool-Calling koordinieren, und implementiert einen Model Context Protocol-Server, um diese Agenten und Suchfunktionen als standardisierte Tools für externe Clients bereitzustellen. Die Plattform deckt ein breites Spektrum an Fähigkeiten ab, einschließlich automatisierter KI-Jury-Bewertung zur Qualitätssicherung, synthetischer Datengenerierung für Training und Evaluierung sowie hybrider Vektor-Keyword-Suche zur Erdung von Modellantworten. Sie bietet zudem Tools für Prompt-Evolution, Trace-Auditing und die Verwaltung kollaborativer Datensätze via Git-Integration. Die Workbench ist über eine selbst-hostbare REST-API und eine dedizierte Python-Bibliothek für die programmatische Workflow-Ausführung zugänglich.