Awesome GitHub RepositoriesInference Performance Optimization

F5-TTS is a text-to-speech system that utilizes a flow matching engine and diffusion transformers to generate fluent synthetic speech. It functions as a multilingual speech synthesizer and neural training framework, providing tools for voice cloning and high-performance inference serving. The project distinguishes itself through a voice cloning toolkit capable of mimicking specific speaker characteristics and tones from reference audio clips. It supports cross-lingual generation, allowing for the synthesis of audio across various global languages or the mixing of multiple languages within a s

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

FasterTransformer is a high-performance inference optimization library and distributed runtime designed to accelerate the execution of transformer models. It provides a toolkit for reducing model precision and parallelizing execution across multiple GPUs to increase throughput and reduce latency for large language models. The framework utilizes a C++ backend with custom CUDA kernels to replace generic operations with optimized GPU instructions. It implements tensor and pipeline parallelism to shard model weights and distribute compute operations across multiple devices. The system includes c

PaddleX is a PaddlePaddle-based framework for building, deploying, and fine-tuning AI model pipelines, with pre-built support for computer vision, OCR, document analysis, and time series tasks. It offers a toolkit of ready-to-use pipelines for image classification, object detection, segmentation, and pose estimation, alongside an end-to-end OCR document analysis pipeline that extracts text, tables, formulas, and layout information. The platform also includes a dedicated time series forecasting pipeline for analyzing historical data to detect anomalies, classify patterns, and predict future val

gpustack este o platformă de gestionare a clusterelor GPU și un orchestrator de inferență LLM. Acesta funcționează ca un sistem centralizat pentru pooling-ul și orchestrarea unităților de procesare grafică pe servere locale și medii cloud, servind drept manager de calcul eterogen pentru diverse configurații hardware și software. Sistemul oferă un gateway securizat de implementare a modelelor AI care servește modelele ca servicii scalabile folosind autentificarea bazată pe chei. Include un scheduler de resurse GPU care echilibrează sarcinile de lucru pe acceleratoare și coordonează mai multe motoare de inferență pentru a mapa modele AI specifice pe hardware compatibil. Platforma acoperă orchestrarea cuprinzătoare a clusterelor, inclusiv recuperarea automată în caz de eșec, monitorizarea resurselor în timp real și scalarea inferenței distribuite. Încorporează optimizarea performanței prin cuantizare și decodare speculativă pentru a maximiza throughput-ul și a reduce latența. Configurațiile sistemului și starea clusterului sunt menținute prin persistența stării într-o bază de date relațională externă.

AITemplate is an ahead-of-time deep learning compiler that translates PyTorch neural networks into standalone C++ source code. It functions as a PyTorch to C++ compiler and a GPU kernel fusion engine, producing self-contained executable binaries that run inference without requiring a Python interpreter or deep learning framework runtime. The project generates optimized CUDA and HIP C++ code specifically for NVIDIA TensorCores and AMD MatrixCores. It focuses on maximizing throughput for half-precision floating-point operations through a system that combines multiple neural network operators in

LightGlue is a deep learning framework designed for local feature matching and high-speed correspondence estimation between pairs of images. It functions as a computer vision matching model that identifies corresponding keypoints across different viewpoints. The system utilizes an adaptive neural network architecture that dynamically optimizes inference speed by pruning its own depth and width based on the input image pairs. This approach employs a transformer-style attention mechanism and cross-image attention to compute correlations between feature descriptors. The matching process include

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

Acest proiect este o implementare PyTorch a framework-ului de detecție a obiectelor YOLOv4. Acesta oferă un sistem pentru antrenarea și implementarea rețelelor neuronale care identifică și localizează obiecte multiple în imagini și fluxuri video. Framework-ul include instrumente pentru conversia ponderilor antrenate în formate universale și motoare optimizate specifice hardware-ului, suportând în mod specific ONNX și TensorRT. Dispune de un optimizator de inferență TensorRT pentru a reduce latența și a crește throughput-ul, precum și o arhitectură de model compatibilă cu pipeline-urile de analiză streaming NVIDIA DeepStream. Sistemul acoperă antrenarea modelelor cu augmentarea datelor de tip mosaic și suportă detecția obiectelor în timp real pe mai multe motoare de inferență. Oferă utilitare pentru conversia modelelor în TensorFlow și suportă configurații de batch statice și dinamice pentru deployment.

This project is a PyTorch-based deep learning framework and supervised learning baseline for person and vehicle re-identification. It provides a complete pipeline for training and evaluating models designed to extract identity-based feature embeddings and match the same entity across different camera views. The framework distinguishes itself with support for cross-modality identity matching, enabling the retrieval of identities across different imaging sensors such as RGB and infrared. It also includes advanced retrieval refinement through re-ranking techniques, utilizing reciprocal encoding

lite.ai.toolkit este un toolkit C++ de viziune computerizată conceput pentru implementarea AI pe dispozitive edge. Acesta permite execuția modelelor pre-antrenate pentru detecția obiectelor, clasificarea imaginilor și segmentare pe dispozitive cu resurse limitate. Proiectul include un motor de inferență multi-backend care suportă runtime-ul de modele ONNX, permițând modelelor AI să ruleze pe diferite ținte hardware. Include un pipeline accelerat prin GPU, specific pentru hardware-ul NVIDIA, pentru a reduce latența și a crește viteza de procesare. Toolkit-ul acoperă o gamă largă de capabilități de analiză facială, inclusiv detecția emoțiilor, estimarea genului și vârstei, și analiza poziției capului. De asemenea, oferă instrumente pentru recunoaștere facială prin extragerea embedding-urilor de trăsături și calcularea similarității cosinus pentru verificarea identității. Capabilitățile suplimentare includ matting-ul imaginilor pentru izolarea prim-planului, colorizarea imaginilor grayscale și transferul de stil artistic.

Acest proiect este un framework de servire a modelelor PyTorch conceput pentru a deploya și scala modele de machine learning în producție prin endpoint-uri de rețea scalabile. Funcționează ca un server de inferență de înaltă performanță, optimizator și manager al ciclului de viață al modelelor care gestionează încărcarea modelelor, batching-ul cererilor și accelerarea hardware. Sistemul se distinge prin capabilități avansate de orchestrare și optimizare, cum ar fi înlănțuirea mai multor modele în fluxuri de lucru secvențiale folosind grafuri de execuție și utilizarea batching-ului dinamic pentru a îmbunătăți throughput-ul și latența. Oferă suport specializat pentru AI generativ și modele de limbaj mari (LLM) prin batching continuu și paralelism tensorial. Ariile largi de capabilități includ gestionarea resurselor GPU pe diverse hardware-uri precum NVIDIA, AMD și Apple Silicon, precum și gestionarea cuprinzătoare a ciclului de viață al modelelor pentru înregistrare, versionare și scalarea worker-ilor. De asemenea, integrează instrumente de observabilitate pentru urmărirea stării sistemului și a performanței modelului prin metrici compatibile cu Prometheus. Serverul este gestionat printr-o interfață de linie de comandă utilizată pentru controlul ciclului de viață și configurarea parametrilor de runtime.

tiny-llm is a large language model inference engine and transformer model implementation. It serves as a quantized model runtime and paged key-value cache manager, providing a specialized inference stack optimized for Apple Silicon. The system distinguishes itself through high-throughput execution techniques, including continuous batching and paged attention. It utilizes a paged memory system to eliminate fragmentation during token generation and employs on-the-fly dequantization of compressed weights to reduce the memory footprint during matrix multiplication. The project covers a broad ran

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc

jeelizFaceFilter is a browser-based computer vision engine and WebGL face tracking library designed for AR filters and real-time facial movement tracking. It functions as a neural network face detector that identifies multiple faces and monitors mouth movements and rotation within a web browser. The system distinguishes itself through a model-swappable detection pipeline, allowing the exchange of neural network weights to balance accuracy and performance across different camera angles and devices. It features real-time lighting synchronization to match the illumination of 3D overlays with the

TotalSegmentator is a medical image segmentation tool and AI-driven organ segmenter designed to isolate anatomical structures from CT scans. It functions as a deep learning anatomy parser and quantitative radiomics analyzer, providing a framework for identifying diverse body tissues and bones to create precise anatomical masks. The system distinguishes itself through a comprehensive medical analysis suite that includes patient biometric estimation for demographics such as age, sex, weight, and height. It further provides specialized clinical index calculations and modality and phase classific

Această bibliotecă oferă un framework pentru impunerea constrângerilor structurale asupra output-ului modelelor de limbaj în timpul procesului de generare a token-urilor. Funcționează ca un middleware care restricționează răspunsurile modelului pentru a adera strict la scheme JSON predefinite sau la tipare de expresii regulate, asigurându-se că textul generat este lizibil pentru mașină și consistent pentru consumul ulterior de date. Proiectul se distinge prin integrarea directă cu motoarele de inferență pentru a intercepta distribuțiile de probabilitate ale token-urilor înainte de etapa finală de eșantionare. Prin utilizarea parsării cu mașini de stare și descompunerea recursivă a schemelor, efectuează validarea lookahead pentru a elimina secvențele de token-uri invalide. Această abordare permite un control precis asupra output-ului, inclusiv impunerea unei ordini specifice a câmpurilor în obiectele JSON și capacitatea de a gestiona mai multe fluxuri de generare concurente prin execuția constrângerilor în loturi (batched). Biblioteca suportă o gamă largă de strategii de integrare, permițându-i să funcționeze pe diverse backend-uri de modele și medii de server de inferență. Include instrumente de diagnosticare pentru analizarea impactului acestor constrângeri asupra performanței, asigurând compatibilitatea și eficiența pe diferite configurații hardware. Software-ul este distribuit ca un pachet Python conceput pentru integrarea în pipeline-urile de inferență existente.

Acest proiect oferă o colecție cuprinzătoare de resurse educaționale și ghiduri tehnice pentru antrenarea, fine-tuning-ul și deployment-ul modelelor de machine learning folosind PyTorch și Hugging Face. Acesta servește drept referință practică pentru scalarea fluxurilor de lucru de deep learning, oferind instrucțiuni structurate pentru gestionarea arhitecturilor la scară largă pe acceleratoare hardware distribuite. Repository-ul se distinge prin concentrarea pe ciclul de viață end-to-end al modelelor de limbaj mari (LLM), punând accent specific pe deployment-ul containerizat și optimizarea performanței. Detaliază fluxurile de lucru pentru fine-tuning-ul eficient din punct de vedere al parametrilor și oferă îndrumări tehnice privind reducerea amprentei de memorie prin cuantizarea ponderilor și tehnici de decodare speculativă. Dincolo de antrenarea și deployment-ul de bază, proiectul acoperă o gamă largă de operațiuni de machine learning (MLOps), inclusiv împachetarea mediului, benchmarking-ul performanței și configurarea mediilor de execuție containerizate. Aceste resurse ajută la menținerea unei performanțe consistente și a eficienței resurselor atunci când se găzduiesc modele generative și multimodale în producție.

Acest proiect este un framework de viziune computerizată conceput pentru detectarea în timp real a punctelor cheie ale corpului uman și a structurilor scheletice. Oferă un toolkit integrat pentru antrenarea, optimizarea și executarea modelelor de estimare a posturii, special pentru implementarea pe hardware de edge computing. Framework-ul se distinge prin utilizarea mapării part affinity field pentru a coda relațiile spațiale dintre articulații, care sunt apoi procesate printr-un algoritm de parsare greedy pentru a reconstrui scheletele umane din date vizuale. Pentru a asigura execuția de înaltă performanță, biblioteca încorporează cuantificarea modelului și motoare de inferență accelerate hardware care optimizează grafurile computaționale pentru hardware local specific. Dincolo de detectarea de bază, proiectul susține fluxuri de lucru end-to-end care includ dezvoltarea de modele de postură personalizate folosind scheme de seturi de date standardizate. Aceste capabilități permit fine-tuning-ul modelelor pentru a aborda sarcini de detectare unice, menținând în același timp cerințele de latență scăzută necesare pentru analiza fluxului video live.

Serving este un framework de înaltă performanță conceput pentru deployment-ul și scalarea modelelor de machine learning ca servicii de producție. Funcționează ca un motor de inferență distribuit care permite execuția fluxurilor de lucru complexe de procesare a datelor prin înlănțuirea mai multor modele în grafuri aciclice direcționate. Platforma se distinge prin capacitatea sa de a gestiona întregul ciclu de viață al modelului de producție, permițând versionarea hot-swappable care actualizează serviciile fără downtime. Suportă scalarea orizontală prin sharding-ul distribuit al modelelor și optimizează regăsirea datelor multidimensionale prin structuri specializate de căutare a parametrilor rari (sparse). Sistemul oferă o suită cuprinzătoare de capabilități pentru mediile de producție, inclusiv execuția inferenței accelerată hardware, interfețe RPC (remote procedure call) multi-limbaj și monitorizarea integrată a serviciilor. De asemenea, încorporează funcții de securitate, cum ar fi autentificarea cererilor și canale de comunicare criptate pentru a proteja deployment-urile modelelor.