Awesome GitHub RepositoriesFunction Call Verifiers

Giskard ist ein Evaluierungs-Framework, eine Test-Bibliothek und ein Qualitätsüberwachungssystem für Large Language Models und KI-Agenten. Es dient als Toolkit zur Quantifizierung von Modellleistung und -zuverlässigkeit und bietet spezialisierte Funktionen zur Validierung von RAG-Pipelines (Retrieval-Augmented Generation). Das Projekt zeichnet sich durch ein automatisiertes Red-Teaming-Tool und einen Sicherheitsscanner aus, die darauf ausgelegt sind, Schwachstellen, Prompt-Injections und Sicherheitsrisiken zu identifizieren. Es nutzt adversarielles Probing und die Generierung synthetischer Edge-Cases, um die Robustheit von Modellen zu quantifizieren und Informationsabflüsse zu erkennen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter die Erkennung von faktischer Genauigkeit und Halluzinationen, Benchmarking von Schlussfolgerungen und Logik sowie die Erkennung von Bias. Es bietet Tools für Regressionstests, die Bewertung von RAG-Komponenten und die automatisierte Generierung von Testfällen aus Wissensdatenbanken. Das System umfasst Managementfunktionen für kollaborative Team-Workspaces, rollenbasierte Zugriffskontrolle und geplante Evaluierungspipelines zur Überwachung von Performance-Drift im Zeitverlauf.

ACI ist eine Tool-Calling-Plattform und ein zentrales System zur Verwaltung und Ausführung externer Service-Operationen und benutzerdefinierter Skripte für agentenbasierte Workflows. Es fungiert als einheitlicher Model Context Protocol-Server, der es KI-Agenten und IDEs ermöglicht, diverse Toolsets dynamisch zu entdecken und auszuführen. Die Plattform zeichnet sich durch einen natürlichsprachlichen Capability-Index und Intent-Matching aus, um verfügbare Tools basierend auf Aufgabenanforderungen zu finden. Sie bietet einen Authentifikator für externe Dienste und Account-Linking via OAuth-basiertem Credential-Management, um eine sichere Tool-Ausführung im Namen der Benutzer zu ermöglichen. Das System deckt ein breites Spektrum an Funktionen ab, darunter Function-Call-Mapping, Orchestrierung externer Dienste und eine erweiterbare Runtime zur Integration lokaler Skripte als ausführbare Tool-Erweiterungen. Es beinhaltet zudem ein Application-Configuration-Management, um zu steuern, wie Agenten mit spezifischen externen Integrationen kommunizieren.