1 مستودع
Awesome GitHub RepositoriesGeneration Stream Batching
Maintains independent parser states for multiple concurrent language model generation streams within a single batch.
Distinct from Batch Request Execution: Distinct from API request batching: specifically manages state-machine parser contexts for concurrent LLM token generation.
Explore 1 awesome GitHub repository matching web development · Generation Stream Batching. Refine with filters or upvote what's useful.
Awesome Generation Stream Batching GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- noamgat/lm-format-enforcer
noamgat/lm-format-enforcer
2,022عرض على GitHubتوفر هذه المكتبة إطار عمل لفرض قيود هيكلية على مخرجات نموذج اللغة أثناء عملية توليد الرموز (tokens). تعمل كبرمجية وسيطة (middleware) تقيد استجابات النموذج للالتزام الصارم بمخططات JSON المحددة مسبقاً أو أنماط التعبير النمطي (regex)، مما يضمن أن النص المولد قابل للقراءة آلياً ومتسق لاستهلاك البيانات في المراحل اللاحقة. يتميز المشروع بالتكامل المباشر مع محركات الاستدلال لاعتراض توزيعات احتمالية الرموز قبل مرحلة أخذ العينات النهائية. ومن خلال استخدام تحليل آلة الحالة (state-machine) وتفكيك المخطط العودي، فإنه يقوم بإجراء تحقق استباقي (lookahead) لاستبعاد تسلسلات الرموز غير الصالحة. يسمح هذا النهج بالتحكم الدقيق في المخرجات، بما في ذلك فرض ترتيب حقول محدد داخل كائنات JSON والقدرة على التعامل مع تدفقات توليد متزامنة متعددة من خلال تنفيذ القيود المجمعة. تدعم المكتبة مجموعة واسعة من استراتيجيات التكامل، مما يسمح لها بالعمل عبر خلفيات نماذج متنوعة وبيئات خادم الاستدلال. وتتضمن أدوات تشخيصية لتحليل تأثير هذه القيود على الأداء، مما يضمن التوافق والكفاءة عبر إعدادات الأجهزة المختلفة. يتم توزيع البرنامج كحزمة Python مصممة للتكامل في خطوط أنابيب الاستدلال الحالية.
Enables efficient handling of multiple concurrent generation streams by maintaining separate parser states for each request.
Python
