Awesome GitHub RepositoriesHalf-Precision Compression

This project is a singing voice conversion tool based on VITS generative modeling. It transforms the identity of a singing voice to a target speaker while preserving the original melody, lyrics, and intonation. The system distinguishes itself through hybrid voice synthesis, allowing for the blending of multiple speaker identities via linear model interpolation. It utilizes cluster-based feature retrieval to increase target voice similarity and employs a diffusion probabilistic model as a post-processor to remove electronic artifacts and improve vocal clarity. The software covers a broad rang

MNN is a high-performance inference engine and framework designed for on-device machine learning. It provides a comprehensive environment for executing, optimizing, and deploying neural network models directly on mobile and resource-constrained edge devices. The framework distinguishes itself through a robust model optimization toolkit that supports quantization, compression, and structural graph manipulation to minimize memory footprint and maximize execution speed. It features a modular architecture that abstracts hardware-specific backends, allowing models to run efficiently across diverse

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

PaddleNLP is a development library and toolkit for training, fine-tuning, and deploying large and small language models using the PaddlePaddle framework. It provides a comprehensive suite for the entire natural language processing lifecycle, from model development to high-performance inference. The project features a standardized model zoo for loading and managing pre-trained models and tokenizers through a unified interface. It distinguishes itself with a specialized model compression framework that reduces memory footprints via weight precision conversion and lossless size optimization, alo

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

Dieses Projekt ist ein JAX-basiertes Transformer-Framework und Large-Language-Model-Trainer für das Training verteilter Modelle auf TPU-Hardwarebeschleunigern. Es bietet ein System für Pretraining und Fine-Tuning autoregressiver Modelle durch Aufteilung von Gewichten und Berechnungen über ein Mesh von Geräten, um den Speicherbedarf zu reduzieren und die Verarbeitungsgeschwindigkeit zu erhöhen. Das Framework enthält einen TPU-Compute-Orchestrator für die Ressourcenbereitstellung und die Automatisierung der Abhängigkeitsinstallation auf verteilten Remote-Knoten. Es verfügt zudem über einen Modell-Gewichtskonverter, der Checkpoints zwischen verschiedenen Hardwarekonfigurationen und numerischen Präzisionen transformieren und neu sharden kann. Das Projekt deckt breitere Funktionen ab, darunter Sharded-Checkpoint-Management für Cloud-Speicher, stream-basiertes Datenladen mit Zustandswiederherstellung und nucleus-basierte Textgenerierung für Modell-Inferenz. Es unterstützt zudem XLA-kompilierte Hardwarebeschleunigung für TPU- und GPU-Cluster und bietet Tools für Performance-Benchmarking gegen standardisierte Sprachaufgaben.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Super-Gradients ist ein PyTorch-Computer-Vision-Framework und eine Trainingsbibliothek, die für den gesamten Lebenszyklus von Vision-Modellen konzipiert ist. Es fungiert als Optimierer für Deep-Learning-Modelle und als Deployment-Toolkit für das Training und die Feinabstimmung von Modellen in den Bereichen Bildklassifizierung, Objekterkennung, semantische Segmentierung und Pose-Estimation. Das Projekt bietet spezifische Tools zur Modelloptimierung, einschließlich Teacher-Student-Knowledge-Distillation und numerischer Präzisionskomprimierung, um Speicher- und Rechenanforderungen zu reduzieren. Es enthält zudem die Implementierung der Yolo-NAS-Architektur für leistungsstarke Objekterkennung. Das Framework deckt eine breite Palette an Funktionen ab, einschließlich verteiltem GPU-Training, modularen Vision-Pipelines und der Automatisierung von Trainingsläufen über strukturierte Rezept-Konfigurationen. Es verwaltet zudem das Laden von Daten, Bild-Augmentierung und den Export trainierter Gewichte in universelle Formate für Produktions-Hardware-Beschleuniger.

TNN ist ein Deep-Learning-Inferenz-Framework, das für die Ausführung vortrainierter neuronaler Netzwerke auf Mobil-, Desktop- und Server-Hardware entwickelt wurde. Es fungiert als hardwarebeschleunigte Laufzeitumgebung und Toolkit zur Modellkomprimierung und bietet eine einheitliche Schnittstelle für die Bereitstellung von Modellen in verschiedenen Umgebungen. Das Framework enthält einen ONNX-Modellkonverter, um Modelle aus verschiedenen Trainings-Frameworks in ein standardisiertes internes Format zu transformieren. Es zeichnet sich durch eine Kombination von Modellkomprimierungstools aus – einschließlich Gewichtungsquantisierung und Static-Code-Pruning – sowie ein Speichermanagementsystem, das Puffer zwischen nicht-abhängigen Knoten wiederverwendet, um den RAM-Verbrauch zu senken. Das System optimiert die Leistung durch Operator-Fusion, um Speicherzugriffe zu minimieren, und nutzt plattformspezifische Backends, um spezialisierte Prozessoren und GPUs zu nutzen. Es steigert die Ausführungsgeschwindigkeit weiter durch Berechnungen mit niedriger Präzision und hardware-spezifische Optimierungen.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

exllamav2 ist eine Hochleistungs-Inferenzbibliothek, die für das lokale Ausführen von Large Language Models auf Consumer-GPUs entwickelt wurde. Sie bietet einen GPU-beschleunigten Runner und Quantisierungstools, um die Modellausführung ohne Abhängigkeit von Cloud-Computing-Diensten zu ermöglichen. Das Projekt verfügt über ein Quantisierungs-Dienstprogramm, das Modelle in gemischte Bitraten zwischen zwei und acht Bit komprimiert, um den VRAM-Bedarf zu reduzieren. Es zeichnet sich durch einen gebatchten Textgenerator aus, der gruppierte Anfragen verarbeitet und Cache-Daten dedupliziert, um den Durchsatz zu erhöhen. Die Bibliothek deckt ein breites Funktionsspektrum ab, einschließlich asynchronem Token-Streaming für Echtzeit-Ausgabe, benutzerdefinierter GPU-Kernel-Ausführung für lineare Algebra-Operationen und lokalem Memory-Mapping für den Zugriff auf Modellgewichte mit geringer Latenz.

exllamav2 ist eine Hochleistungs-Inferenz-Engine und ein Framework für das lokale Ausführen von Large Language Models auf Consumer-GPUs. Es bietet ein vollständiges System für das lokale Modell-Deployment, einschließlich einer spezialisierten Inferenz-Engine und Tools für die Modellquantisierung. Das Projekt verfügt über ein Multi-GPU-Inferenz-Framework, das Arbeitslasten auf mehrere Grafikkarten verteilt, um Modelle auszuführen, die die Speicherkapazität eines einzelnen Geräts überschreiten. Es enthält einen GPU-Modell-Quantisierer, der Modelle in gemischte Präzisionsformate zwischen 2 und 8 Bit konvertieren kann, um Speichernutzung und Genauigkeit auszubalancieren. Die Engine unterstützt Textgenerierung mit hohem Durchsatz durch batch-basierte parallele Inferenz und asynchrones Output-Streaming. Diese Funktionen werden durch benutzerdefinierte CUDA-Kernel und Cache-Deduplizierung unterstützt, um die Hardwareauslastung zu optimieren und die Latenz während der Token-Generierung zu reduzieren.

VisualGLM-6B ist ein zweisprachiges, multimodales Large Language Model und Vision-Language-Modell für Konversationsaufgaben und visuelles Verständnis. Es fungiert als zweisprachiges KI-Modell, das Antworten sowohl auf Chinesisch als auch auf Englisch verarbeiten und generieren kann. Das System ist ein quantisiertes Large Language Model, das 4-Bit- und 8-Bit-Präzision unterstützt, um den Speicherbedarf und die Hardwareanforderungen bei der lokalen Bereitstellung zu reduzieren. Es ist zudem ein parameter-effizientes Fine-Tuning-Modell, das Gewichtsanpassungen ermöglicht, um das System ohne vollständiges Retraining an spezifische nachgelagerte Aufgaben anzupassen. Das Projekt deckt multimodale Konversations-KI und bildbasierte Dialoge ab und ermöglicht die Analyse visueller Inhalte für Aufgaben des visuellen Verständnisses in mehreren Sprachen. Zu den Funktionen gehören Modell-Präzisionsquantisierung und domänenspezifisches Fine-Tuning für spezialisierte Anwendungen.

Chinese-Vicuna ist ein chinesisches Large Language Model und eine instruction-following KI auf Basis der LLaMA-Architektur. Es wurde speziell für das Verständnis und die Generierung natürlicher Sprache in Chinesisch entwickelt und nutzt ein instruction-tuned Modell, um komplexen Benutzeranweisungen in Konversationen zu folgen. Das Projekt bietet ein LoRA-Fine-Tuning-Framework und Quantisierungssysteme, um Modelladaption und Inferenz auf Consumer-Hardware zu ermöglichen. Es implementiert quantisierte Inferenz, um den Speicherverbrauch auf CPUs und GPUs zu reduzieren, unterstützt durch eine C++-Implementierung auf niedriger Ebene, um Systemressourcenanforderungen zu minimieren. Das System deckt ein breites Spektrum an NLP-Funktionen ab, einschließlich Multi-Turn-Konversationsmanagement, mehrsprachiger Übersetzung und Generierung von Programmiercode. Es enthält zudem Tools für domänenspezifisches Training, Modellformat-Konvertierung und ein interaktives Chat-Interface mit Streaming-Textausgabe.

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

VILA is a vision-language model integration that combines a visual encoder with a large language model to process images and text in a shared space. Its primary purpose is to enable the generation of natural language explanations and detailed text summaries of images and videos based on user prompts. The project utilizes a multi-stage alignment pipeline to synchronize visual and textual embeddings through sequential pretraining and supervised fine-tuning. To support deployment on desktop and edge hardware, it employs quantized low-precision inference to reduce model weights to 4-bit precision

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

ChatGLM-Efficient-Tuning is a fine-tuning framework and toolkit designed to optimize large language models using parameter-efficient fine-tuning techniques. It provides a pipeline for adjusting model behavior and reducing the memory and compute requirements necessary for training. The project features a web-based trainer and orchestration interface for configuring and executing the fine-tuning process on a single GPU. It supports quantized training in lower precision formats to enable fine-tuning on hardware with limited memory, as well as reinforcement learning from human feedback for model