Awesome GitHub RepositoriesFunction Call Verifiers

Giskard este un framework de evaluare, o bibliotecă de testare și un sistem de monitorizare a calității pentru modele de limbaj mari (LLM) și agenți AI. Acesta servește drept set de instrumente pentru cuantificarea performanței și fiabilității modelelor, oferind capabilități specializate pentru validarea pipeline-urilor de tip retrieval-augmented generation (RAG). Proiectul se distinge printr-un instrument automat de red teaming și un scaner de securitate conceput pentru a identifica vulnerabilități, prompt injections și riscuri de siguranță. Utilizează sondarea adversă și generarea sintetică de cazuri limită pentru a cuantifica robustețea modelului și a detecta scurgerile de informații. Platforma acoperă o gamă largă de capabilități, inclusiv detectarea halucinațiilor și a acurateței faptice, benchmarking-ul raționamentului și logicii, precum și detectarea bias-urilor. Oferă instrumente pentru testarea de regresie, evaluarea componentelor RAG și generarea automată a cazurilor de test din baze de cunoștințe. Sistemul include funcții de gestionare pentru spații de lucru colaborative, control al accesului bazat pe roluri și pipeline-uri de evaluare programate pentru a monitoriza degradarea performanței în timp.

ACI este o platformă de apelare a instrumentelor și un sistem centralizat pentru gestionarea și executarea operațiunilor de servicii externe și a scripturilor personalizate pentru fluxuri de lucru agentice. Acesta funcționează ca un server unificat Model Context Protocol care permite agenților AI și IDE-urilor să descopere și să execute dinamic seturi de instrumente diverse. Platforma se distinge printr-un index de capabilități în limbaj natural și potrivirea intențiilor pentru a căuta instrumente disponibile în funcție de cerințele sarcinii. Oferă un autentificator de servicii externe și legarea conturilor prin gestionarea acreditărilor bazată pe OAuth pentru a permite executarea securizată a instrumentelor în numele utilizatorilor. Sistemul acoperă o gamă largă de capabilități, inclusiv maparea apelurilor de funcții, orchestrarea serviciilor externe și un runtime pluggable pentru integrarea scripturilor locale ca extensii executabile. Include, de asemenea, gestionarea configurației aplicației pentru a controla modul în care agenții comunică cu integrări externe specifice.