1 مستودع
Awesome GitHub RepositoriesLLM Inference Plugins
Plugins that enable large language model execution within Flutter applications.
Distinct from Flutter Plugin Integrations: Focuses on adding AI inference capabilities to Flutter rather than general device feature plugins.
Explore 1 awesome GitHub repository matching mobile development · LLM Inference Plugins. Refine with filters or upvote what's useful.
Awesome LLM Inference Plugins GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- google-ai-edge/litert-lm
google-ai-edge/LiteRT-LM
5,619عرض على GitHubLiteRT-LM هو إطار عمل استنتاج عالي الأداء مصمم لتنفيذ النماذج اللغوية الكبيرة محلياً على أجهزة المحمول وسطح المكتب و IoT. يعمل كبيئة تشغيل للنماذج على الجهاز تستخدم تسريع CPU و GPU و NPU لتوفير معالجة منخفضة زمن الاستجابة. يتميز إطار العمل بقدرته على معالجة مدخلات النصوص والصور والصوت من خلال محرك استنتاج متعدد الوسائط واحد. يتميز بخادم HTTP محلي يحاكي نقاط نهاية واجهة برمجة التطبيقات المتوافقة مع OpenAI، وبيئة تشغيل قائمة على WebGPU لتنفيذ النماذج مباشرة داخل متصفح الويب. لضمان موثوقية المخرجات، يتضمن مولد نصوص مقيد يفرض مخططات JSON أو قواعد نحوية على استجابات النموذج. يوفر المشروع قدرات واسعة لإدارة المحادثات ذات الحالة، وفك التشفير التخميني لزيادة سرعات توليد الرموز، وواجهة استدعاء الأدوات التي تربط طلبات النموذج بوظائف خارجية. كما يتضمن تكاملاً متخصصاً لنظام Apple وإضافة مخصصة لتشغيل النماذج في Flutter. يمكن للمستخدمين تنفيذ النماذج من خلال واجهة سطر الأوامر أو دمجها في التطبيقات عبر واجهات برمجة التطبيقات الأصلية.
Provides a dedicated plugin to run large language models locally in Flutter-based mobile and desktop applications.
C++
