Awesome GitHub RepositoriesInference Performance Optimization

F5-TTS is a text-to-speech system that utilizes a flow matching engine and diffusion transformers to generate fluent synthetic speech. It functions as a multilingual speech synthesizer and neural training framework, providing tools for voice cloning and high-performance inference serving. The project distinguishes itself through a voice cloning toolkit capable of mimicking specific speaker characteristics and tones from reference audio clips. It supports cross-lingual generation, allowing for the synthesis of audio across various global languages or the mixing of multiple languages within a s

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

FasterTransformer is a high-performance inference optimization library and distributed runtime designed to accelerate the execution of transformer models. It provides a toolkit for reducing model precision and parallelizing execution across multiple GPUs to increase throughput and reduce latency for large language models. The framework utilizes a C++ backend with custom CUDA kernels to replace generic operations with optimized GPU instructions. It implements tensor and pipeline parallelism to shard model weights and distribute compute operations across multiple devices. The system includes c

PaddleX is a PaddlePaddle-based framework for building, deploying, and fine-tuning AI model pipelines, with pre-built support for computer vision, OCR, document analysis, and time series tasks. It offers a toolkit of ready-to-use pipelines for image classification, object detection, segmentation, and pose estimation, alongside an end-to-end OCR document analysis pipeline that extracts text, tables, formulas, and layout information. The platform also includes a dedicated time series forecasting pipeline for analyzing historical data to detect anomalies, classify patterns, and predict future val

gpustack is a GPU cluster management platform and LLM inference orchestrator. It functions as a centralized system for pooling and orchestrating graphics processing units across local servers and cloud environments, serving as a heterogeneous compute manager for diverse hardware and software configurations. The system provides a secure AI model deployment gateway that serves models as scalable services using key-based authentication. It includes a GPU resource scheduler that balances workloads across accelerators and coordinates multiple inference engines to map specific AI models to compatib

AITemplate ist ein Ahead-of-Time-Deep-Learning-Compiler, der PyTorch-neuronale Netze in eigenständigen C++-Quellcode übersetzt. Er fungiert als PyTorch-zu-C++-Compiler und GPU-Kernel-Fusion-Engine und erzeugt in sich geschlossene ausführbare Binärdateien, die Inferenz ausführen, ohne einen Python-Interpreter oder eine Deep-Learning-Framework-Runtime zu benötigen. Das Projekt generiert optimierten CUDA- und HIP-C++-Code speziell für NVIDIA TensorCores und AMD MatrixCores. Es konzentriert sich auf die Maximierung des Durchsatzes für Gleitkommaoperationen mit halber Präzision durch ein System, das mehrere neuronale Netzwerkoperatoren zu einzelnen GPU-Kernels kombiniert, um Speicher-Overhead und Latenz zu minimieren. Das Toolset deckt GPU-Inferenzbeschleunigung und High-Performance-Computing ab und bietet Funktionen für die Entwicklung benutzerdefinierter GPU-Operatoren sowie das Mapping von Graph-Knoten auf hardware-spezifische Templates. Es enthält Utility-Unterstützung für das Benchmarking der Inferenz-Performance und die Visualisierung von Modelloptimierungen.

LightGlue ist ein Deep-Learning-Framework für lokales Feature-Matching und die hochpräzise Korrespondenzschätzung zwischen Bildpaaren. Es fungiert als Computer-Vision-Matching-Modell, das korrespondierende Keypoints über verschiedene Blickwinkel hinweg identifiziert. Das System nutzt eine adaptive neuronale Netzwerkarchitektur, die die Inferenzgeschwindigkeit dynamisch optimiert, indem sie ihre eigene Tiefe und Breite basierend auf den Eingabebildpaaren anpasst. Dieser Ansatz verwendet einen Transformer-basierten Aufmerksamkeitsmechanismus und Cross-Image-Attention, um Korrelationen zwischen Feature-Deskriptoren zu berechnen. Der Matching-Prozess umfasst eine iterative Verfeinerungsschleife und dynamisches Early-Stopping, um die Berechnung zu beenden, sobald Konfidenzschwellen erreicht sind. Diese Funktionen unterstützen eine umfassendere Computer-Vision-Pipeline für die Echtzeit-Bildausrichtung und die Optimierung neuronaler Netzwerkinferenzen.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

Dieses Projekt ist eine PyTorch-Implementierung des YOLOv4-Objekterkennungs-Frameworks. Es bietet ein System zum Trainieren und Bereitstellen neuronaler Netzwerke, die mehrere Objekte in Bildern und Videostreams identifizieren und lokalisieren. Das Framework enthält Tools zur Konvertierung trainierter Gewichte in universelle Formate und hardwarespezifische optimierte Engines, wobei insbesondere ONNX und TensorRT unterstützt werden. Es verfügt über einen TensorRT-Inferenz-Optimierer zur Latenzreduzierung und Durchsatzsteigerung sowie eine Modellarchitektur, die mit NVIDIA DeepStream Streaming-Analytics-Pipelines kompatibel ist. Das System deckt das Modelltraining mit Mosaic-Datenaugmentierung ab und unterstützt die Echtzeit-Objekterkennung über mehrere Inferenz-Engines hinweg. Es bietet Hilfsprogramme für die Modellkonvertierung zu TensorFlow und unterstützt sowohl statische als auch dynamische Batch-Konfigurationen für das Deployment.

Dieses Projekt ist ein PyTorch-basiertes Deep-Learning-Framework und eine Baseline für überwachtes Lernen zur Re-Identifizierung von Personen und Fahrzeugen. Es bietet eine vollständige Pipeline zum Trainieren und Evaluieren von Modellen, die darauf ausgelegt sind, identitätsbasierte Feature-Embeddings zu extrahieren und dieselbe Entität über verschiedene Kameraansichten hinweg abzugleichen. Das Framework zeichnet sich durch Unterstützung für Cross-Modality-Identitätsabgleich aus, was das Abrufen von Identitäten über verschiedene Bildsensoren wie RGB und Infrarot hinweg ermöglicht. Es enthält zudem fortgeschrittene Retrieval-Verfeinerung durch Re-Ranking-Techniken unter Verwendung von Reciprocal Encoding und Graph Neural Networks, um die Ranking-Präzision zu verbessern. Das System deckt eine breite Palette von Computer-Vision-Funktionen ab, einschließlich Feature-Embedding-Extraktion, Bild-Retrieval-Evaluierung und Datenvorverarbeitung mit Random-Erasing-Augmentation. Es bietet Tools für Modelloptimierung via Convolution- und Batch-Normalization-Fusion sowie TensorRT-Inference-Beschleunigung. Monitoring- und Diagnosetools sind für die Visualisierung von Modell-Attention-Heatmaps und Identifizierungsergebnissen enthalten. Die Bibliothek implementiert zudem Abwehrmechanismen durch Adversarial Training, um die Modellrobustheit zu erhöhen.

lite.ai.toolkit ist ein C++ Computer-Vision-Toolkit für Edge-KI-Deployments. Es ermöglicht die Ausführung vortrainierter Modelle für Objekterkennung, Bildklassifizierung und Segmentierung auf ressourcenbeschränkten Geräten. Das Projekt bietet eine Multi-Backend-Inferenz-Engine, die die ONNX-Model-Runtime unterstützt, wodurch KI-Modelle auf verschiedenen Hardware-Zielen ausgeführt werden können. Es enthält eine GPU-beschleunigte Pipeline speziell für NVIDIA-Hardware, um Latenzen zu reduzieren und die Verarbeitungsgeschwindigkeit zu erhöhen. Das Toolkit deckt ein breites Spektrum an Funktionen zur Gesichtsanalyse ab, einschließlich Emotionserkennung, Geschlechts- und Altersschätzung sowie Kopfhaltungserkennung. Es bietet zudem Tools für die Gesichtserkennung durch die Extraktion von Feature-Embeddings und die Berechnung der Kosinus-Ähnlichkeit zur Identitätsprüfung. Zusätzliche Funktionen umfassen Image-Matting zur Vordergrundisolierung, Kolorierung von Graustufenbildern und künstlerischen Style-Transfer.

Dieses Projekt ist ein PyTorch-Framework für das Model-Serving, das darauf ausgelegt ist, Machine-Learning-Modelle in der Produktion über skalierbare Netzwerk-Endpunkte bereitzustellen. Es fungiert als leistungsstarker Inference-Server, Optimierer und Modell-Lifecycle-Manager, der das Laden von Modellen, Request-Batching und Hardware-Beschleunigung übernimmt. Das System zeichnet sich durch fortschrittliche Orchestrierungs- und Optimierungsfunktionen aus, wie etwa das Verketten mehrerer Modelle zu sequenziellen Workflows mittels Ausführungsgraphen und den Einsatz von Dynamic Batching zur Verbesserung von Durchsatz und Latenz. Es bietet spezialisierte Unterstützung für generative KI und Large Language Models durch Continuous Batching und Tensor-Parallelität. Zu den breiten Funktionsbereichen gehören GPU-Ressourcenmanagement für diverse Hardware wie NVIDIA, AMD und Apple Silicon sowie ein umfassendes Lifecycle-Management für Registrierung, Versionierung und Worker-Skalierung. Zudem integriert es Observability-Tools zur Überwachung des Systemzustands und der Modellleistung über Prometheus-kompatible Metriken. Der Server wird über eine Kommandozeilenschnittstelle verwaltet, die zur Steuerung des Lifecycles und zur Konfiguration von Laufzeitparametern dient.

tiny-llm ist eine Inferenz-Engine für große Sprachmodelle und eine Transformer-Modell-Implementierung. Sie dient als Laufzeitumgebung für quantisierte Modelle und als Paged-Key-Value-Cache-Manager und bietet einen spezialisierten Inferenz-Stack, der für Apple Silicon optimiert ist. Das System zeichnet sich durch High-Throughput-Ausführungstechniken aus, einschließlich Continuous Batching und Paged Attention. Es nutzt ein Paged-Memory-System, um Fragmentierung während der Token-Generierung zu eliminieren, und verwendet On-the-Fly-Dequantisierung komprimierter Gewichte, um den Speicherbedarf während der Matrixmultiplikation zu reduzieren. Das Projekt deckt ein breites Spektrum an Modellarchitektur- und Performance-Funktionen ab, wie Mixture-of-Experts-Routing, Grouped Query Attention und Flash Attention. Es umfasst Unterstützung für fortgeschrittene Decoding-Logik, einschließlich Greedy Decoding und Sampling via Temperature, Top-K- und Top-P-Methoden. Die Implementierung ist in Python geschrieben und enthält benutzerdefinierte Low-Level-Kernel zur Beschleunigung der Tensor-Verarbeitung auf der Hardware.

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc

jeelizFaceFilter is a browser-based computer vision engine and WebGL face tracking library designed for AR filters and real-time facial movement tracking. It functions as a neural network face detector that identifies multiple faces and monitors mouth movements and rotation within a web browser. The system distinguishes itself through a model-swappable detection pipeline, allowing the exchange of neural network weights to balance accuracy and performance across different camera angles and devices. It features real-time lighting synchronization to match the illumination of 3D overlays with the

TotalSegmentator is a medical image segmentation tool and AI-driven organ segmenter designed to isolate anatomical structures from CT scans. It functions as a deep learning anatomy parser and quantitative radiomics analyzer, providing a framework for identifying diverse body tissues and bones to create precise anatomical masks. The system distinguishes itself through a comprehensive medical analysis suite that includes patient biometric estimation for demographics such as age, sex, weight, and height. It further provides specialized clinical index calculations and modality and phase classific

Diese Bibliothek bietet ein Framework zur Durchsetzung struktureller Einschränkungen bei der Ausgabe von Sprachmodellen während des Token-Generierungsprozesses. Sie fungiert als Middleware, die Modellantworten strikt auf vordefinierte JSON-Schemas oder reguläre Ausdrücke beschränkt und so sicherstellt, dass generierter Text maschinenlesbar und konsistent für die nachgelagerte Datenverarbeitung ist. Das Projekt zeichnet sich dadurch aus, dass es direkt in Inferenz-Engines integriert wird, um Token-Wahrscheinlichkeitsverteilungen vor der finalen Sampling-Stufe abzufangen. Durch die Verwendung von State-Machine-Parsing und rekursiver Schema-Dekomposition führt es eine Lookahead-Validierung durch, um ungültige Token-Sequenzen zu verwerfen. Dieser Ansatz ermöglicht eine präzise Kontrolle über die Ausgabe, einschließlich der Erzwingung spezifischer Feldreihenfolgen in JSON-Objekten und der Fähigkeit, mehrere gleichzeitige Generierungs-Streams durch gebündelte Constraint-Ausführung zu verarbeiten. Die Bibliothek unterstützt eine breite Palette von Integrationsstrategien und funktioniert über diverse Modell-Backends und Inferenz-Server-Umgebungen hinweg. Sie enthält Diagnose-Tools zur Analyse der Auswirkungen dieser Einschränkungen auf die Performance, um Kompatibilität und Effizienz über verschiedene Hardware-Setups hinweg sicherzustellen. Die Software wird als Python-Paket für die Integration in bestehende Inferenz-Pipelines vertrieben.

Dieses Projekt ist eine Sammlung von Bildungsressourcen und technischen Leitfäden für das Training, Fine-Tuning und die Bereitstellung von Machine-Learning-Modellen mit PyTorch und Hugging Face. Es dient als praktische Referenz für die Skalierung von Deep-Learning-Workflows und bietet strukturierte Anweisungen für die Verwaltung groß angelegter Architekturen über verteilte Hardware-Beschleuniger hinweg. Das Repository zeichnet sich dadurch aus, dass es sich auf den End-to-End-Lebenszyklus großer Sprachmodelle konzentriert, insbesondere auf containerisierte Bereitstellung und Leistungsoptimierung. Es beschreibt Workflows für parameter-effizientes Fine-Tuning und bietet technische Anleitungen zur Reduzierung des Speicherbedarfs durch Gewichtsquantisierung und spekulative Dekodierungstechniken. Über das Kern-Training und die Bereitstellung hinaus deckt das Projekt ein breites Spektrum an Machine-Learning-Operationen ab, einschließlich Umgebungspaketierung, Performance-Benchmarking und der Konfiguration containerisierter Ausführungsumgebungen. Diese Ressourcen unterstützen die Aufrechterhaltung konsistenter Leistung und Ressourceneffizienz beim Hosten generativer und multimodaler Modelle in der Produktion.

Dieses Projekt ist ein Computer-Vision-Framework für die Echtzeiterkennung menschlicher Körper-Keypoints und Skelettstrukturen. Es bietet ein integriertes Toolkit zum Trainieren, Optimieren und Ausführen von Pose-Estimation-Modellen speziell für die Bereitstellung auf Edge-Computing-Hardware. Das Framework zeichnet sich durch die Verwendung von Part-Affinity-Field-Mapping aus, um räumliche Beziehungen zwischen Gelenken zu kodieren, die dann durch einen Greedy-Parsing-Algorithmus verarbeitet werden, um menschliche Skelette aus visuellen Daten zu rekonstruieren. Um eine hochperformante Ausführung sicherzustellen, integriert die Bibliothek Modellquantisierung und hardwarebeschleunigte Inferenz-Engines, die Rechengraphen für spezifische lokale Hardware optimieren. Über die Kern-Erkennung hinaus unterstützt das Projekt End-to-End-Workflows, die die Entwicklung benutzerdefinierter Pose-Modelle unter Verwendung standardisierter Datensatz-Schemata beinhalten. Diese Funktionen ermöglichen das Fine-Tuning von Modellen, um einzigartige Erkennungsaufgaben zu adressieren, während die für Live-Videostream-Analysen notwendigen Low-Latency-Anforderungen beibehalten werden.

Serving ist ein High-Performance-Framework für die Bereitstellung und Skalierung von Machine-Learning-Modellen als Produktionsdienste. Es fungiert als verteilte Inferenz-Engine, die die Ausführung komplexer Datenverarbeitungs-Workflows durch die Verkettung mehrerer Modelle in gerichteten azyklischen Graphen ermöglicht. Die Plattform zeichnet sich durch ihre Fähigkeit aus, den gesamten Lebenszyklus von Produktionsmodellen zu verwalten, was Hot-Swappable-Versioning ermöglicht, das Dienste ohne Ausfallzeiten aktualisiert. Sie unterstützt horizontale Skalierung durch verteiltes Modell-Sharding und optimiert den Abruf hochdimensionaler Daten durch spezialisierte Sparse-Parameter-Lookup-Strukturen. Das System bietet eine umfassende Suite an Funktionen für Produktionsumgebungen, einschließlich hardwarebeschleunigter Inferenz-Ausführung, mehrsprachiger RPC-Schnittstellen und integriertem Service-Monitoring. Es enthält zudem Sicherheitsfunktionen wie Request-Authentifizierung und verschlüsselte Kommunikationskanäle, um Modellbereitstellungen zu schützen.