3 مستودعات
Awesome GitHub RepositoriesConsumer GPU Optimizations
Serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Distinct from Model Serving: Focuses on hardware accessibility for consumer GPUs specifically, rather than general production latency.
Explore 3 awesome GitHub repositories matching devops & infrastructure · Consumer GPU Optimizations. Refine with filters or upvote what's useful.
Awesome Consumer GPU Optimizations GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- hvision-nku/storydiffusion
HVision-NKU/StoryDiffusion
6,430عرض على GitHubStoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati
Enables full generation pipelines to run on consumer GPUs by reducing batch size and model precision.
Jupyter Notebook - imoneoi/openchat
imoneoi/openchat
5,481عرض على GitHubOpenChat هو إطار عمل لتدريب وضبط ونشر نماذج اللغات الكبيرة المحسنة لمهام المحادثة والاستدلال الرياضي. يوفر دورة حياة شاملة لهذه النماذج، بدءاً من خطوط أنابيب التدريب ومكدسات النشر وصولاً إلى واجهة محادثة قائمة على الويب. يركز المشروع على تمكين تنفيذ النماذج عالية الأداء على أجهزة المستهلكين دون الحاجة إلى مسرعات على مستوى المؤسسات. يتضمن خادم استنتاج جاهز للإنتاج ينفذ بروتوكول إكمال المحادثة الخاص بـ OpenAI ويستخدم تجميع الطلبات الديناميكي لتحسين إنتاجية الأجهزة. يغطي النظام سير العمل التشغيلي بالكامل، بما في ذلك ترميز مجموعات البيانات (tokenization) وضبط النماذج عبر التدريب الخالي من الحشو (padding-free) والتعلم التعزيزي. كما يمتد إلى استضافة API مع مصادقة قائمة على المفاتيح وواجهة رسومية للتفاعل البشري في الوقت الفعلي.
Optimizes model execution to enable high-performance LLM inference on non-enterprise GPUs.
Python - turboderp/exllamav2
turboderp/exllamav2
4,553عرض على GitHubexllamav2 هي مكتبة استنتاج عالية الأداء مصممة لتشغيل نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) المخصصة للمستهلكين. توفر مشغلاً مسرعاً بواسطة GPU وأدوات تكميم لتمكين تنفيذ النموذج دون الاعتماد على خدمات الحوسبة السحابية. يتميز المشروع بأداة تكميم تضغط النماذج إلى معدلات بت مختلطة بين اثنين وثمانية بت لتقليل متطلبات ذاكرة الفيديو (VRAM). يتميز بمولد نصوص مجمع يتعامل مع الطلبات المجمعة ويزيل تكرار بيانات ذاكرة التخزين المؤقت لزيادة الإنتاجية. تغطي المكتبة سطح قدرة واسعاً بما في ذلك تدفق الرموز غير المتزامن للمخرجات في الوقت الفعلي، وتنفيذ نواة GPU مخصصة لعمليات الجبر الخطي، وتعيين الذاكرة المحلية للوصول منخفض زمن الوصول إلى أوزان النموذج.
Provides serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Python
