Awesome GitHub RepositoriesGeneration Speed Optimizers

Guidance is a control framework and generation orchestrator for large language models. It provides a programming layer to steer model outputs through structured templates, schema enforcement, and logical flow management. The framework distinguishes itself by interleaving model generation with local code execution, enabling the use of loops and conditional branching within a single session. It employs grammar-based token constraints and regular expressions to force models to sample only from tokens that satisfy a specific structural format, ensuring strict adherence to predefined data models.

This project is a systematic framework for English language acquisition that applies structured workflows and cognitive strategies to build linguistic proficiency. It focuses on the construction of a linguistic knowledge base, enabling learners to master vocabulary and grammar through methodical training. The methodology is distinguished by its use of computer science concepts, such as mental-model-based learning and memory buffers, to organize progression. It emphasizes a cognitive-translation bypass to develop target language thinking, reducing mental latency by processing information direc

StreamDiffusion is an interactive generative AI framework and inference engine designed for the low-latency delivery of image and video streams. It provides a real-time Stable Diffusion pipeline for text-to-image and image-to-image generation, enabling the creation of continuous generative image streams with minimized computational delay. The framework optimizes throughput using a pre-computed cache engine and residual-based guidance approximation to reduce the number of required model passes. It further manages GPU load through similarity-based frame skipping, which avoids redundant computat

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

Mace ist ein mobiles Deep-Learning-Inference-Framework und eine Hardware-Beschleunigungs-Engine. Es fungiert als Laufzeitumgebung für die Ausführung neuronaler Netzwerkmodelle auf mobilen Geräten und verteilt Berechnungen auf CPUs, GPUs und NPUs. Das Projekt enthält einen plattformübergreifenden Modellkonverter zur Transformation vortrainierter neuronaler Netze aus verschiedenen Industrieformaten in mobil optimierte Repräsentationen. Es bietet zudem einen Obfuscator für neuronale Netze, der Modellgewichte in Quellcode umwandelt, um geistiges Eigentum vor Reverse Engineering zu schützen. Das Framework verwaltet geräteinterne Ressourcen durch Optimierung der Speicherallokation und Anpassung der Chip-Energieeinstellungen. Es adressiert zudem die Ausführungsleistung durch mathematische Algorithmusoptimierung und Berechnungssplitting, um die Reaktionsfähigkeit der Oberfläche aufrechtzuerhalten.

LightGlue ist ein Deep-Learning-Framework für lokales Feature-Matching und die hochpräzise Korrespondenzschätzung zwischen Bildpaaren. Es fungiert als Computer-Vision-Matching-Modell, das korrespondierende Keypoints über verschiedene Blickwinkel hinweg identifiziert. Das System nutzt eine adaptive neuronale Netzwerkarchitektur, die die Inferenzgeschwindigkeit dynamisch optimiert, indem sie ihre eigene Tiefe und Breite basierend auf den Eingabebildpaaren anpasst. Dieser Ansatz verwendet einen Transformer-basierten Aufmerksamkeitsmechanismus und Cross-Image-Attention, um Korrelationen zwischen Feature-Deskriptoren zu berechnen. Der Matching-Prozess umfasst eine iterative Verfeinerungsschleife und dynamisches Early-Stopping, um die Berechnung zu beenden, sobald Konfidenzschwellen erreicht sind. Diese Funktionen unterstützen eine umfassendere Computer-Vision-Pipeline für die Echtzeit-Bildausrichtung und die Optimierung neuronaler Netzwerkinferenzen.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

GhostNet bietet eine Reihe effizienter KI-Modellarchitekturen und Entwurfsmuster für neuronale Netze, die darauf ausgelegt sind, den Rechen- und Speicheraufwand zu reduzieren. Es dient als Backbone für Computer Vision und als leichtgewichtiger Vision Transformer, der das Gleichgewicht zwischen Vorhersagegenauigkeit und Inferenzgeschwindigkeit optimiert. Das Projekt konzentriert sich auf die Reduzierung des Ressourcenverbrauchs für den Einsatz auf Mobilgeräten und Edge-Hardware. Dies wird durch leichtgewichtige Vision-Transformer-Implementierungen und Architekturen erreicht, die die Gesamtzahl der Parameter minimieren. Die Codebasis deckt eine Reihe von Funktionen zur Inferenzoptimierung ab, einschließlich der Senkung von Rechenkosten und Speicherbedarf. Sie implementiert strukturelle Entwurfsmuster wie tiefenseparierbare Faltungsblöcke (depthwise-separable convolutional blocks), Linear-Bottleneck-Depthwise-Convolutions und gewichtete Transformer-Blöcke, um die Inferenzlatenz zu verringern.

Dieses Projekt ist eine chinesische Übersetzung der technischen Handbücher und API-Referenzen für das PyTorch Deep-Learning-Framework. Es dient als lokalisierte Wissensdatenbank und Referenzmaterial, um die Deep-Learning-Dokumentation für nicht-englischsprachige Nutzer zugänglich zu machen. Die Dokumentation deckt ein umfassendes Spektrum an PyTorch-Funktionen ab, einschließlich der Entwicklung neuronaler Netzwerkmodelle, automatischer Differenzierung und der Implementierung von Backend-Kernels. Sie bietet detaillierte Anleitungen zu verteilten Trainingsstrategien, Modellbereitstellung über Formate wie ONNX und C++ sowie verschiedene Techniken zur Modelloptimierung und Quantisierung. Das Projekt nutzt eine Community-gesteuerte Übersetzungspipeline und ein verteiltes Beitragsmodell, um versionierte Inhalte aktuell zu halten. Technische Materialien sind in Markdown organisiert und werden über Static Site Generation in eine navigierbare Website umgewandelt.

Dieses Projekt ist ein ausdrucksstarkes Text-to-Speech-Grundlagenmodell und Voice-Cloning-System, das darauf ausgelegt ist, menschenähnliche Sprache mit emotionaler Nuance und hoher Wiedergabetreue zu synthetisieren. Es fungiert als feinabstimmbares Sprachmodell, das Audio generieren kann, das eine bestimmte Person unter Verwendung eines Referenz-Stimmbeispiels imitiert. Das System zeichnet sich durch eine hochperformante Inference-Engine aus, die Memory-Caching und Hardware-Kompilierung nutzt, um die Latenz während des Audio-Generierungsprozesses zu reduzieren. Es ermöglicht zudem Verbesserungen der Synthesequalität durch das Training des Sprachmodells auf benutzerdefinierten Datensätzen, die aus Audiodateien und passenden Untertiteln bestehen. Das Framework deckt die breiteren Bereiche des benutzerdefinierten Voice-Clonings, der ausdrucksstarken Sprachsynthese und der Feinabstimmung von Sprachmodellen ab.

OmniGen2 is a unified image generation model and multimodal large language model designed to handle text-to-image generation, image-to-image tasks, and image editing within a single framework. It functions as a causal language model visual engine capable of generating and editing images based on combined text and visual inputs. The system features in-context visual composition and subject-driven generation, allowing it to extract subjects from reference images and place them into new scenes. It also supports instruction-based image editing, where specific objects or styles are modified via na

MAGI-1 is an autoregressive video generation model designed to synthesize high-resolution video sequences from text prompts and image references. It functions as a generative system for text-to-video, image-to-video, and video-to-video transformations. The model utilizes an autoregressive architecture that treats spatio-temporal patches as a sequence of discrete tokens to maintain temporal motion. It employs a variational autoencoder to compress the spatial and temporal dimensions of video data and uses distillation-based step scaling to allow for inference budget control. The system integra

Paper2Slides is an AI-driven presentation generator and content extractor designed to transform academic papers and scientific documents into structured slides and posters. It utilizes retrieval-augmented generation to distill key data points and identify critical figures while maintaining direct traceability to the original source text. The system functions as an AI slide designer that applies professional themes or custom visual styles defined through natural language. It integrates with external image generation services to produce high-quality visuals and research visualizations for acade