1 مستودع
Awesome GitHub RepositoriesLLM Batch Processing
Executing large volumes of language model tasks concurrently to increase throughput.
Distinct from Batch Processing Jobs: Existing batch processing candidates are for images or clusters, not LLM API throughput.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · LLM Batch Processing. Refine with filters or upvote what's useful.
Awesome LLM Batch Processing GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- promptslab/promptify
promptslab/Promptify
4,616عرض على GitHubPromptify عبارة عن مجموعة من الأدوات المصممة لتقييم النماذج، وإدارة المطالبات (prompts)، وتتبع تكلفة الرموز (tokens)، والاستخراج المهيكل، والوصول الموحد لبوابة API. يوفر واجهة موحدة لإدارة الطلبات والاستجابات عبر العديد من مزودي النماذج اللغوية الكبيرة. يتميز المشروع بمنصة إدارة مطالبات لهندسة وإصدار المطالبات مع التحقق من صحة المخرجات المهيكلة. يتضمن إطار عمل تقييم مخصص لقياس أداء النموذج باستخدام درجات الدقة والاستدعاء و f1 مقابل مجموعات البيانات المصنفة، إلى جانب متتبع تكلفة الرموز لمراقبة النفقات المالية لطلبات النموذج. تغطي المكتبة قدرات واسعة لمعالجة اللغة الطبيعية، بما في ذلك استخراج الكيانات المسماة، وتصنيف النصوص، والإجابة على الأسئلة. يدعم سير العمل عالي الحجم من خلال المعالجة المجمعة غير المتزامنة ويضمن اتساق البيانات عن طريق تحويل النص غير المهيكل إلى هياكل بيانات مكتوبة عبر التحقق من المخطط (schema validation).
Enables concurrent execution of high-volume language model tasks to reduce total processing time.
Python
