Awesome GitHub RepositoriesWeight Conversion Utilities

This project is a PyTorch transformer model library and pre-trained model framework. It serves as a deep learning model hub and multimodal inference engine, providing a centralized system for loading, executing, and fine-tuning state-of-the-art model checkpoints. The library focuses on multimodal machine learning, enabling predictions across text, vision, and audio data. It provides specialized capabilities for model framework interoperability, allowing the conversion of weights and definitions between different deep learning libraries. The platform covers the full model lifecycle, including

VoxCPM is a multilingual speech synthesis system and text-to-speech inference server. It functions as an AI voice cloning tool and a synthetic voice designer, capable of generating natural speech across global languages and regional dialects using a GPU-accelerated audio generator. The project features a speech model fine-tuning framework that supports both full parameter updates and low-rank adaptation for customizing voice characteristics. It enables high-fidelity voice cloning from reference audio, including cross-lingual voice transfer and acoustic environment mimicry, as well as the crea

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

This project is a comprehensive toolkit for adapting large language models to the Chinese language, providing a specialized framework for fine-tuning, inference, and local deployment. It serves as a coordinated suite for language-specific adaptation, including tools for expanding tokenizers and implementing retrieval-augmented generation. The project distinguishes itself through a complete pipeline for model adaptation, featuring multilingual tokenizer expansion and a fine-tuning framework that supports instruction-based supervised training and adapter merging. It also includes a dedicated de

This project is a collection of implementation guides, recipes, and developer resources for building applications with Llama models. It serves as a comprehensive kit for developing autonomous agents, establishing retrieval-augmented generation systems, and executing model fine-tuning. The resource provides specific patterns for multimodal workflows that process text, images, and audio. It includes specialized guidance on adapting pre-trained model weights for targeted tasks and implementing tool-calling orchestration to connect models with external APIs and functions. The codebase covers a b

Megatron-LM is a distributed transformer training library and large language model training framework designed to scale models across thousands of GPUs. It functions as a GPU-optimized deep learning toolkit and a scaling engine for mixture-of-experts architectures, enabling the training of models with hundreds of billions of parameters. The project implements multi-dimensional model parallelism, combining tensor, pipeline, data, expert, and context-based workload distribution. It specifically optimizes mixture-of-experts architectures through integrated memory and communication improvements t

This project is a comprehensive toolkit designed for the full lifecycle management of large language and multimodal models. It functions as a unified orchestrator that handles the entire development process, ranging from dataset preparation and supervised fine-tuning to advanced reinforcement learning alignment and production-ready inference deployment. The platform distinguishes itself through a specialized reinforcement learning library that supports complex optimization algorithms, including group relative policy optimization and leave-one-out techniques, to improve model instruction-follo

CogVideo is a video generation framework and large language model architecture designed for synthesizing high-resolution video clips from natural language descriptions and images. It functions as a text-to-video and image-to-video generator, while also providing a model for video captioning to analyze visual content into descriptive text summaries. The system supports animating static images into motion sequences and transforming series of images into video based on prompts. It includes capabilities for extending the length of generated video clips to create longer sequences of motion. The f

OpenPi is a vision-language-action robot control framework designed to generate physical control actions for robotic systems. It functions as a distributed robot model trainer, a model format converter, and a robot action streaming server. The framework provides tools for transforming model checkpoints between different framework formats to ensure interoperability across various development environments. It also includes a server that uses websocket connections to stream model-generated control actions from remote inference servers to physical robot hardware in real-time. The system supports

PowerInfer is an inference engine and serving framework designed to run large language models on local hardware. It combines a hybrid CPU-GPU offloader, a quantization tool, and a sparse model optimizer to enable the execution of high-parameter models on consumer-grade devices. The system distinguishes itself through neuron-activation-based offloading, using a predictor model to preload frequent neurons into VRAM while keeping rare neurons in system memory. This hybrid execution model balances workloads between the GPU and CPU based on input patterns to optimize memory access and increase tok

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

This project is an object detection framework implementing the YOLOv3 architecture using Keras and TensorFlow. It functions as a deep learning vision model and computer vision toolset designed to locate and classify multiple entities within images and video streams using bounding boxes. The system includes a multi-GPU inference engine to distribute computational loads across several graphics processing units. It also provides a pipeline for creating custom object detectors by retraining pre-trained weights on annotated datasets to recognize user-defined object classes. The framework covers m

Dieses Projekt ist ein JAX-basiertes Transformer-Framework und Large-Language-Model-Trainer für das Training verteilter Modelle auf TPU-Hardwarebeschleunigern. Es bietet ein System für Pretraining und Fine-Tuning autoregressiver Modelle durch Aufteilung von Gewichten und Berechnungen über ein Mesh von Geräten, um den Speicherbedarf zu reduzieren und die Verarbeitungsgeschwindigkeit zu erhöhen. Das Framework enthält einen TPU-Compute-Orchestrator für die Ressourcenbereitstellung und die Automatisierung der Abhängigkeitsinstallation auf verteilten Remote-Knoten. Es verfügt zudem über einen Modell-Gewichtskonverter, der Checkpoints zwischen verschiedenen Hardwarekonfigurationen und numerischen Präzisionen transformieren und neu sharden kann. Das Projekt deckt breitere Funktionen ab, darunter Sharded-Checkpoint-Management für Cloud-Speicher, stream-basiertes Datenladen mit Zustandswiederherstellung und nucleus-basierte Textgenerierung für Modell-Inferenz. Es unterstützt zudem XLA-kompilierte Hardwarebeschleunigung für TPU- und GPU-Cluster und bietet Tools für Performance-Benchmarking gegen standardisierte Sprachaufgaben.

bert4keras ist eine leichtgewichtige Reimplementierung der BERT-Transformer-Architektur für das Keras-Deep-Learning-Framework. Es dient als Toolkit für die natürliche Sprachverarbeitung (NLP) und als Transformer-Modellbibliothek, die für Textklassifizierung, Sequenz-Labeling und die Extraktion semantischer Embeddings verwendet wird. Das Framework enthält ein Sequence-to-Sequence-Modellsystem für Question-Answering und Textgenerierung sowie einen Modell-Inference-Server, um trainierte Transformer als Web-APIs für Echtzeit-Vorhersagen bereitzustellen. Die Funktionen decken ein breites Spektrum an Aufgaben des natürlichen Sprachverständnisses ab, einschließlich Leseverständnis, Relationsextraktion und Langtextverarbeitung. Die Bibliothek bietet Tools für das Pre-Training und Fine-Tuning von Sprachmodellen sowie Optimierungstechniken wie Parameterreduktion, adversarielles Training für Robustheit und schichtweise Konfiguration der Lernrate. Das Projekt enthält einen Weight-Conversion-Loader, um vortrainierte Gewichte aus externen Formaten in kompatible Keras-Strukturen umzuwandeln.

stable-diffusion.cpp is a high-performance C++ inference engine designed for generating images and video from text prompts using Stable Diffusion models. It functions as a latent diffusion model runtime and a lightweight machine learning framework that enables local diffusion model execution on consumer hardware. The project distinguishes itself as a CPU-based image generator capable of running without a dedicated GPU. It employs a specialized C++ tensor backend and cross-backend hardware abstraction to dispatch compute tasks across different processor instruction sets and graphics APIs. The

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

whisper-jax ist eine Hochleistungs-Implementierung des Whisper-Modells zur automatischen Spracherkennung, die unter Verwendung des JAX-Frameworks neu geschrieben wurde. Sie ist für beschleunigte Inferenz konzipiert und verwendet XLA-Kompilierung, um die Modellausführung auf Hardwarebeschleunigern zu optimieren. Das Projekt konzentriert sich auf TPU-optimierte Transkription, um einen hohen Durchsatz und hohe Geschwindigkeit zu erreichen. Es enthält eine Gewichtungs-Übersetzungspipeline, die vortrainierte Modellparameter von PyTorch in JAX-kompatible Arrays konvertiert. Das System unterstützt das Transkribieren von Audio in Text, das Übersetzen von Sprache in mehrere Sprachen und das Generieren von Audio-Zeitstempeln. Es ermöglicht die Stapelverarbeitung von Audio und skaliert die Leistung durch datenparalleles Batching und modellparallele Tensor-Partitionierung. Das Projekt bietet eine Methode, um das Transkriptionsmodell als Remote-Inferenz-Endpunkt mit einer Weboberfläche bereitzustellen.

Dieses Projekt ist eine PyTorch-Implementierung eines Generative Adversarial Network (GAN) für die hochauflösende Bildsynthese. Es bietet ein Bildsynthesemodell, das realistische Bilder aus latenten Vektoren und gelernten Klassenbedingungen erzeugt, unterstützt durch ein Tool zur Projektion in den latenten Raum, um numerische Vektoren für spezifische Zielbilder zu finden. Die Implementierung bietet adaptive Diskriminator-Augmentierung, eine Trainingstechnik zur Vermeidung von Overfitting bei begrenzten Bilddatensätzen. Zudem ist eine Evaluierungssuite für generative Modelle enthalten, die quantitative Metriken zur Messung der Wiedergabetreue und Vielfalt synthetisierter Bilder liefert. Die Bibliothek deckt umfassendere generative Workflows ab, einschließlich Bild-Style-Blending, Image-to-Latent-Projektion und das Training generativer Netzwerke auf benutzerdefinierten Datensätzen. Sie bietet zudem Dienstprogramme für die Vorbereitung von Bilddatensätzen und die Konvertierung von Netzwerkgewichten.

Dieses Projekt ist eine PyTorch-Implementierung der Faster-R-CNN-Architektur für die Objekterkennung. Es bietet ein Framework zur Identifizierung mehrerer Objektklassen und ihrer zugehörigen Bounding Boxes in Bildern mittels eines Deep-Learning-Systems. Die Implementierung umfasst eine Trainings-Pipeline zur Optimierung von Modellen auf benutzerdefinierten Datensätzen sowie ein Hilfsprogramm zur Konvertierung vortrainierter Gewichte aus externen Formaten in eine kompatible Struktur für die Modellinitialisierung. Das System deckt eine zweistufige Erkennungs-Pipeline ab, bestehend aus einem Region-Proposal-Network und einem ROI-Pooling-Layer. Es integriert Multi-Task-Loss-Funktionen und anchor-basierte Bounding-Box-Regression zur Verfeinerung von Objektpositionen. Das Projekt enthält Tools zur Echtzeit-Visualisierung von Trainingsverlusten und Vorhersagegenauigkeit zur Überwachung der Modellleistung.

picoGPT is a lightweight, low-level runtime environment and inference engine designed to load pre-trained checkpoints and execute generative transformer model inference. It provides a minimal implementation of the generative pre-trained transformer architecture to facilitate local language model execution. The project includes a C++ machine learning library for converting model parameters and executing greedy token generation without heavy external dependencies. It handles remote asset synchronization by downloading pre-trained weights, hyperparameters, and vocabulary files from remote server