2 रिपॉजिटरी
Awesome GitHub RepositoriesFunction Call Verifiers
Tools that validate the correctness and reliability of a model's function calling and API triggering capabilities.
Distinct from Function Calling Interfaces: Focuses on the evaluation/verification of the calls, whereas the parent focuses on the interface that enables the calls.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Function Call Verifiers. Refine with filters or upvote what's useful.
Awesome Function Call Verifiers GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- giskard-ai/giskard
Giskard-AI/giskard
5,434GitHub पर देखेंGiskard लार्ज लैंग्वेज मॉडल्स (LLMs) और AI एजेंट्स के लिए एक इवैल्यूएशन फ्रेमवर्क, टेस्टिंग लाइब्रेरी और क्वालिटी मॉनिटरिंग सिस्टम है। यह मॉडल के प्रदर्शन और विश्वसनीयता को मापने के लिए एक टूलकिट के रूप में कार्य करता है, जो RAG (retrieval-augmented generation) पाइपलाइन्स को वैलिडेट करने के लिए विशेष क्षमताएं प्रदान करता है। यह प्रोजेक्ट अपने ऑटोमेटेड रेड टीमिंग टूल और सिक्योरिटी स्कैनर के माध्यम से खुद को अलग बनाता है, जिसे कमजोरियों, प्रॉम्प्ट इंजेक्शन और सुरक्षा जोखिमों की पहचान करने के लिए डिज़ाइन किया गया है। यह मॉडल की मजबूती को मापने और जानकारी लीक होने का पता लगाने के लिए एडवर्सरियल प्रोबिंग और सिंथेटिक एज केस जनरेशन का उपयोग करता है। यह प्लेटफॉर्म तथ्यात्मक सटीकता और मतिभ्रम (hallucination) का पता लगाने, तर्क और लॉजिक बेंचमार्किंग, और बायस डिटेक्शन जैसी व्यापक क्षमताएं प्रदान करता है। यह रिग्रेशन टेस्टिंग, RAG कंपोनेंट असेसमेंट और नॉलेज बेस से टेस्ट केस जनरेट करने के लिए टूल्स प्रदान करता है। सिस्टम में सहयोगी टीम वर्कस्पेस, रोल-आधारित एक्सेस कंट्रोल और समय के साथ प्रदर्शन में गिरावट की निगरानी के लिए शेड्यूल्ड इवैल्यूएशन पाइपलाइन्स जैसी मैनेजमेंट सुविधाएं शामिल हैं।
Validates the ability to trigger correct functions and APIs across multiple languages, including parallel execution.
Python - aipotheosis-labs/aci
aipotheosis-labs/aci
4,802GitHub पर देखेंACI एक टूल-कॉलिंग प्लेटफॉर्म और सेंट्रलाइज्ड सिस्टम है जो एजेंटिक वर्कफ़्लो के लिए बाहरी सर्विस ऑपरेशन्स और कस्टम स्क्रिप्ट्स को मैनेज और निष्पादित करता है। यह एक यूनिफाइड Model Context Protocol सर्वर के रूप में कार्य करता है जो AI एजेंट्स और IDEs को विविध टूलसेट्स को गतिशील रूप से खोजने और निष्पादित करने में सक्षम बनाता है। यह प्लेटफॉर्म नेचुरल लैंग्वेज कैपेबिलिटी इंडेक्स और इंटेंट मैचिंग के माध्यम से खुद को अलग बनाता है, जो कार्य की आवश्यकताओं के आधार पर उपलब्ध टूल्स को खोजता है। यह उपयोगकर्ताओं की ओर से सुरक्षित टूल निष्पादन की अनुमति देने के लिए OAuth-आधारित क्रेडेंशियल मैनेजमेंट के माध्यम से एक बाहरी सर्विस ऑथेंटिकेटर और अकाउंट लिंकिंग प्रदान करता है। यह सिस्टम फंक्शन-कॉल मैपिंग, बाहरी सर्विस ऑर्केस्ट्रेशन और स्थानीय स्क्रिप्ट्स को निष्पादन योग्य टूल एक्सटेंशन के रूप में एकीकृत करने के लिए एक प्लगेबल रनटाइम सहित व्यापक क्षमताएं प्रदान करता है। इसमें यह नियंत्रित करने के लिए एप्लिकेशन कॉन्फ़िगरेशन मैनेजमेंट भी शामिल है कि एजेंट्स विशिष्ट बाहरी इंटीग्रेशन के साथ कैसे संचार करते हैं।
Translates natural language intent and agent requests into specific executable function calls for external services.
Pythonagentsaiai-agents
