1 रिपॉजिटरी
Awesome GitHub RepositoriesGeneration Stream Batching
Maintains independent parser states for multiple concurrent language model generation streams within a single batch.
Distinct from Batch Request Execution: Distinct from API request batching: specifically manages state-machine parser contexts for concurrent LLM token generation.
Explore 1 awesome GitHub repository matching web development · Generation Stream Batching. Refine with filters or upvote what's useful.
Awesome Generation Stream Batching GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- noamgat/lm-format-enforcer
noamgat/lm-format-enforcer
2,022GitHub पर देखेंयह लाइब्रेरी टोकन जनरेशन प्रक्रिया के दौरान लैंग्वेज मॉडल आउटपुट पर स्ट्रक्चरल बाधाएं लागू करने के लिए एक फ्रेमवर्क प्रदान करती है। यह मिडलवेयर के रूप में कार्य करती है जो मॉडल प्रतिक्रियाओं को पूर्व-निर्धारित JSON स्कीमा या रेगुलर एक्सप्रेशन पैटर्न का सख्ती से पालन करने के लिए प्रतिबंधित करती है, यह सुनिश्चित करती है कि उत्पन्न टेक्स्ट मशीन-पठनीय हो और डाउनस्ट्रीम डेटा खपत के लिए सुसंगत हो। यह प्रोजेक्ट अंतिम सैंपलिंग चरण से पहले टोकन संभावना वितरण को इंटरसेप्ट करने के लिए सीधे इन्फरेंस इंजन के साथ एकीकृत होकर खुद को अलग करता है। स्टेट-मशीन पार्सिंग और रिकर्सिव स्कीमा डिकंपोजिशन का उपयोग करके, यह अमान्य टोकन अनुक्रमों को हटाने के लिए लुकअहेड वैलिडेशन करती है। यह दृष्टिकोण आउटपुट पर सटीक नियंत्रण की अनुमति देता है, जिसमें JSON ऑब्जेक्ट्स के भीतर विशिष्ट फ़ील्ड ऑर्डरिंग को लागू करना और बैच्ड कंस्ट्रेंट निष्पादन के माध्यम से कई समवर्ती जनरेशन स्ट्रीम को संभालने की क्षमता शामिल है। लाइब्रेरी एकीकरण रणनीतियों की एक विस्तृत श्रृंखला का समर्थन करती है, जिससे यह विविध मॉडल बैकएंड और इन्फरेंस सर्वर वातावरण में कार्य कर सकती है। इसमें इन बाधाओं के प्रदर्शन प्रभाव का विश्लेषण करने के लिए डायग्नोस्टिक टूल शामिल हैं, जो विभिन्न हार्डवेयर सेटअप में संगतता और दक्षता सुनिश्चित करते हैं। सॉफ़्टवेयर को मौजूदा इन्फरेंस पाइपलाइनों में एकीकरण के लिए डिज़ाइन किए गए Python पैकेज के रूप में वितरित किया जाता है।
Enables efficient handling of multiple concurrent generation streams by maintaining separate parser states for each request.
Python
