1 रिपॉजिटरी
Awesome GitHub RepositoriesLLM Batch Processing
Executing large volumes of language model tasks concurrently to increase throughput.
Distinct from Batch Processing Jobs: Existing batch processing candidates are for images or clusters, not LLM API throughput.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · LLM Batch Processing. Refine with filters or upvote what's useful.
Awesome LLM Batch Processing GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- promptslab/promptify
promptslab/Promptify
4,616GitHub पर देखेंPromptify मॉडल मूल्यांकन, प्रॉम्प्ट प्रबंधन, टोकन लागत ट्रैकिंग, संरचित निष्कर्षण, और एकीकृत API गेटवे एक्सेस के लिए डिज़ाइन किए गए टूल्स का एक सूट है। यह कई लार्ज लैंग्वेज मॉडल प्रदाताओं के बीच अनुरोधों और प्रतिक्रियाओं को प्रबंधित करने के लिए एक मानकीकृत इंटरफेस प्रदान करता है। इस प्रोजेक्ट में संरचित आउटपुट वैलिडेशन के साथ प्रॉम्प्ट्स को इंजीनियरिंग और वर्ज़निंग करने के लिए एक प्रॉम्प्ट प्रबंधन प्लेटफॉर्म है। इसमें लेबल किए गए डेटासेट के खिलाफ प्रिसिजन, रिकॉल, और f1 स्कोर का उपयोग करके मॉडल प्रदर्शन को मापने के लिए एक समर्पित मूल्यांकन फ्रेमवर्क, और मॉडल अनुरोधों के वित्तीय खर्चों की निगरानी के लिए एक टोकन लागत ट्रैकर शामिल है। यह लाइब्रेरी नेचुरल लैंग्वेज प्रोसेसिंग के लिए व्यापक क्षमताओं को कवर करती है, जिसमें नेम्ड एंटिटी एक्सट्रैक्शन, टेक्स्ट क्लासिफिकेशन, और प्रश्न-उत्तर शामिल हैं। यह एसिंक्रोनस बैच प्रोसेसिंग के माध्यम से हाई-वॉल्यूम वर्कफ़्लो का समर्थन करती है और स्कीमा वैलिडेशन के माध्यम से असंरचित टेक्स्ट को टाइप्ड डेटा स्ट्रक्चर्स में बदलकर डेटा स्थिरता सुनिश्चित करती है।
Enables concurrent execution of high-volume language model tasks to reduce total processing time.
Python
