Awesome GitHub RepositoriesFunction Call Verifiers

Giskard est un framework d'évaluation, une bibliothèque de test et un système de monitoring de qualité pour les grands modèles de langage (LLM) et les agents IA. Il sert de boîte à outils pour quantifier la performance et la fiabilité des modèles, offrant des capacités spécialisées pour valider les pipelines de génération augmentée par récupération (RAG). Le projet se distingue par un outil de red teaming automatisé et un scanner de sécurité conçu pour identifier les vulnérabilités, les injections de prompts et les risques de sécurité. Il utilise le probing contradictoire et la génération synthétique de cas limites pour quantifier la robustesse du modèle et détecter les fuites d'informations. La plateforme couvre un large éventail de capacités, incluant la détection d'hallucinations et la vérification de l'exactitude factuelle, le benchmarking de la logique et du raisonnement, ainsi que la détection de biais. Elle fournit des outils pour les tests de régression, l'évaluation des composants RAG et la génération automatisée de cas de test à partir de bases de connaissances. Le système inclut des fonctionnalités de gestion pour les espaces de travail collaboratifs, le contrôle d'accès basé sur les rôles et des pipelines d'évaluation planifiés pour surveiller la dérive des performances au fil du temps.

ACI est une plateforme d'appel d'outils et un système centralisé pour gérer et exécuter des opérations de services externes et des scripts personnalisés pour les flux de travail agentiques. Il fonctionne comme un serveur Model Context Protocol unifié qui permet aux agents IA et aux IDE de découvrir et d'exécuter dynamiquement divers ensembles d'outils. La plateforme se distingue par un index de capacités en langage naturel et une correspondance d'intention pour rechercher des outils disponibles en fonction des exigences de la tâche. Elle fournit un authentificateur de service externe et une liaison de compte via une gestion des identifiants basée sur OAuth pour permettre une exécution sécurisée des outils au nom des utilisateurs. Le système couvre un large éventail de capacités, y compris le mappage d'appels de fonction, l'orchestration de services externes et un runtime enfichable pour intégrer des scripts locaux en tant qu'extensions d'outils exécutables. Il inclut également une gestion de la configuration des applications pour contrôler la manière dont les agents communiquent avec des intégrations externes spécifiques.