3 dépôts
Awesome GitHub RepositoriesConsumer GPU Optimizations
Serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Distinct from Model Serving: Focuses on hardware accessibility for consumer GPUs specifically, rather than general production latency.
Explore 3 awesome GitHub repositories matching devops & infrastructure · Consumer GPU Optimizations. Refine with filters or upvote what's useful.
Awesome Consumer GPU Optimizations GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- hvision-nku/storydiffusion
HVision-NKU/StoryDiffusion
6,430Voir sur GitHubStoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati
Enables full generation pipelines to run on consumer GPUs by reducing batch size and model precision.
Jupyter Notebook - imoneoi/openchat
imoneoi/openchat
5,481Voir sur GitHubOpenChat est un framework pour l'entraînement, le fine-tuning et le déploiement de grands modèles de langage optimisés pour les tâches de raisonnement conversationnel et mathématique. Il fournit un cycle de vie complet pour ces modèles, allant des pipelines d'entraînement et des stacks de déploiement à une interface de chat web. Le projet se concentre sur l'activation d'une exécution de modèle haute performance sur du matériel grand public sans avoir besoin d'accélérateurs de classe entreprise. Il inclut un serveur d'inférence prêt pour la production qui implémente le protocole de complétion de chat OpenAI et utilise le batching dynamique des requêtes pour optimiser le débit matériel. Le système couvre l'ensemble du flux de travail opérationnel, y compris la tokenisation des jeux de données et le fine-tuning des modèles via un entraînement sans padding et l'apprentissage par renforcement. Il s'étend également à l'hébergement d'API avec authentification par clé et une interface graphique pour l'interaction humaine en temps réel.
Optimizes model execution to enable high-performance LLM inference on non-enterprise GPUs.
Python - turboderp/exllamav2
turboderp/exllamav2
4,553Voir sur GitHubexllamav2 is a high-performance inference library designed for running large language models locally on consumer-grade GPUs. It provides a GPU-accelerated runner and quantization tools to enable model execution without reliance on cloud-based computing services. The project features a quantization utility that compresses models into mixed bitrates between two and eight bits to reduce video RAM requirements. It distinguishes itself through a batched text generator that handles grouped requests and deduplicates cache data to increase throughput. The library covers a broad capability surface in
Provides serving techniques tailored for running large models on consumer-grade hardware via precision reduction.
Python
