Awesome GitHub RepositoriesConsumer GPU Optimizations

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

OpenChat es un framework para el entrenamiento, ajuste fino (fine-tuning) y despliegue de modelos de lenguaje de gran tamaño optimizados para tareas de razonamiento conversacional y matemático. Proporciona un ciclo de vida completo para estos modelos, desde pipelines de entrenamiento y stacks de despliegue hasta una interfaz de chat basada en web. El proyecto se centra en permitir la ejecución de modelos de alto rendimiento en hardware de consumo sin necesidad de aceleradores de nivel empresarial. Incluye un servidor de inferencia listo para producción que implementa el protocolo de chat completion de OpenAI y utiliza el procesamiento por lotes dinámico (dynamic batching) para optimizar el rendimiento del hardware. El sistema cubre todo el flujo de trabajo operativo, incluyendo la tokenización de datasets y el ajuste fino de modelos mediante entrenamiento sin padding y aprendizaje por refuerzo. Se extiende además al alojamiento de API con autenticación basada en claves y una interfaz gráfica de usuario para la interacción humana en tiempo real.

exllamav2 es una librería de inferencia de alto rendimiento diseñada para ejecutar modelos de lenguaje grandes localmente en GPUs de grado consumidor. Proporciona un runner acelerado por GPU y herramientas de cuantización para permitir la ejecución de modelos sin depender de servicios de computación en la nube. El proyecto cuenta con una utilidad de cuantización que comprime modelos en bitrates mixtos de entre dos y ocho bits para reducir los requisitos de VRAM. Se distingue por un generador de texto por lotes que maneja solicitudes agrupadas y deduplica datos de caché para aumentar el rendimiento. La librería cubre una amplia superficie de capacidades, incluyendo streaming de tokens asíncrono para salida en tiempo real, ejecución de kernels de GPU personalizados para operaciones de álgebra lineal y mapeo de memoria local para acceso de baja latencia a los pesos del modelo.