3 रिपॉजिटरी
Awesome GitHub RepositoriesConsumer GPU Optimizations
Serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Distinct from Model Serving: Focuses on hardware accessibility for consumer GPUs specifically, rather than general production latency.
Explore 3 awesome GitHub repositories matching devops & infrastructure · Consumer GPU Optimizations. Refine with filters or upvote what's useful.
Awesome Consumer GPU Optimizations GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- hvision-nku/storydiffusion
HVision-NKU/StoryDiffusion
6,430GitHub पर देखेंStoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati
Enables full generation pipelines to run on consumer GPUs by reducing batch size and model precision.
Jupyter Notebook - imoneoi/openchat
imoneoi/openchat
5,481GitHub पर देखेंOpenChat संवादात्मक और गणितीय तर्क कार्यों के लिए अनुकूलित लार्ज लैंग्वेज मॉडल के प्रशिक्षण, फाइन-ट्यूनिंग और परिनियोजन (deployment) के लिए एक फ्रेमवर्क है। यह इन मॉडलों के लिए एक व्यापक लाइफसाइकिल प्रदान करता है, जिसमें ट्रेनिंग पाइपलाइन और डिप्लॉयमेंट स्टैक से लेकर वेब-आधारित चैट इंटरफ़ेस तक शामिल है। यह प्रोजेक्ट एंटरप्राइज़-ग्रेड एक्सेलेरेटर की आवश्यकता के बिना उपभोक्ता-ग्रेड हार्डवेयर पर उच्च-प्रदर्शन मॉडल निष्पादन को सक्षम करने पर केंद्रित है। इसमें एक प्रोडक्शन-रेडी इन्फरेंस सर्वर शामिल है जो OpenAI चैट कंप्लीशन प्रोटोकॉल को लागू करता है और हार्डवेयर थ्रूपुट को ऑप्टिमाइज़ करने के लिए डायनामिक रिक्वेस्ट बैचिंग का उपयोग करता है। यह सिस्टम संपूर्ण परिचालन वर्कफ़्लो को कवर करता है, जिसमें पैडिंग-फ्री ट्रेनिंग और रीइन्फोर्समेंट लर्निंग के माध्यम से डेटासेट टोकनाइज़ेशन और मॉडल फाइन-ट्यूनिंग शामिल है। यह की-आधारित प्रमाणीकरण के साथ API होस्टिंग और वास्तविक समय मानवीय बातचीत के लिए एक ग्राफिकल यूजर इंटरफेस तक विस्तारित है।
Optimizes model execution to enable high-performance LLM inference on non-enterprise GPUs.
Python - turboderp/exllamav2
turboderp/exllamav2
4,553GitHub पर देखेंexllamav2 is a high-performance inference library designed for running large language models locally on consumer-grade GPUs. It provides a GPU-accelerated runner and quantization tools to enable model execution without reliance on cloud-based computing services. The project features a quantization utility that compresses models into mixed bitrates between two and eight bits to reduce video RAM requirements. It distinguishes itself through a batched text generator that handles grouped requests and deduplicates cache data to increase throughput. The library covers a broad capability surface in
Provides serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Python
