Awesome GitHub RepositoriesConsumer GPU Optimizations

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

OpenChat este un framework pentru antrenarea, fine-tuning-ul și deployment-ul modelelor lingvistice mari optimizate pentru sarcini de raționament conversațional și matematic. Oferă un ciclu de viață complet pentru aceste modele, variind de la pipeline-uri de antrenare și stack-uri de deployment până la o interfață de chat web. Proiectul se concentrează pe permiterea execuției modelelor de înaltă performanță pe hardware de consum, fără a fi nevoie de acceleratoare de nivel enterprise. Include un server de inferență gata de producție care implementează protocolul OpenAI chat completion și utilizează batching-ul dinamic al cererilor pentru a optimiza throughput-ul hardware. Sistemul acoperă întregul flux de lucru operațional, inclusiv tokenizarea seturilor de date și fine-tuning-ul modelelor prin antrenare fără padding și învățare prin consolidare (reinforcement learning). Se extinde, de asemenea, la găzduirea API-urilor cu autentificare bazată pe chei și o interfață grafică pentru interacțiunea umană în timp real.

exllamav2 este o bibliotecă de inferență de înaltă performanță concepută pentru a rula modele de limbaj mari local pe GPU-uri de consum. Oferă un runner accelerat prin GPU și instrumente de cuantizare pentru a permite execuția modelelor fără a depinde de servicii de calcul bazate pe cloud. Proiectul dispune de un utilitar de cuantizare care comprimă modelele în bitrate-uri mixte între doi și opt biți pentru a reduce cerințele de memorie video (VRAM). Se distinge printr-un generator de text batch care gestionează cererile grupate și deduplică datele din cache pentru a crește throughput-ul. Biblioteca acoperă o suprafață largă de capabilități, inclusiv streaming asincron de token-uri pentru output în timp real, execuție de kernel-uri GPU personalizate pentru operații de algebră liniară și maparea memoriei locale pentru acces cu latență scăzută la ponderile modelului.