Awesome GitHub RepositoriesRemote Model Loading

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

llama-rs este un motor de inferență pentru modele de limbaj mari (LLM) implementat în Rust. Permite executarea calculelor modelului pe hardware local pentru a genera răspunsuri text din prompt-urile utilizatorului. Proiectul utilizează operațiuni tensoriale bazate pe Rust și maparea directă a memoriei modelului pentru a gestiona algebra liniară de înaltă performanță și încărcarea eficientă a ponderilor. Încorporează cuantificarea ponderilor pentru a reduce amprenta de memorie a modelelor prin convertirea ponderilor de înaltă precizie în formate mai mici. Sistemul include o interfață de linie de comandă pentru sesiuni de chat interactive și prompt-uri unice, împreună cu persistența sesiunii bazată pe fișiere pentru a salva și restaura istoricul conversațiilor. Oferă, de asemenea, utilitare pentru preluarea configurațiilor de tokenizare din hub-uri externe și instrumente pentru calcularea scorurilor de perplexitate pentru a evalua performanța modelului.

KServe is an open platform for deploying and serving generative and predictive AI models on Kubernetes. It defines inference services as custom resources with declarative YAML specifications, enabling a Kubernetes-native approach to model deployment and lifecycle management. The platform leverages Knative-based serverless scaling for automatic scale-to-zero and revision management, and supports a pluggable serving runtime architecture that maps model formats to containerized execution environments. KServe distinguishes itself through model-aware autoscaling that scales replicas based on token

Acest proiect este un framework de servire a modelelor PyTorch conceput pentru a deploya și scala modele de machine learning în producție prin endpoint-uri de rețea scalabile. Funcționează ca un server de inferență de înaltă performanță, optimizator și manager al ciclului de viață al modelelor care gestionează încărcarea modelelor, batching-ul cererilor și accelerarea hardware. Sistemul se distinge prin capabilități avansate de orchestrare și optimizare, cum ar fi înlănțuirea mai multor modele în fluxuri de lucru secvențiale folosind grafuri de execuție și utilizarea batching-ului dinamic pentru a îmbunătăți throughput-ul și latența. Oferă suport specializat pentru AI generativ și modele de limbaj mari (LLM) prin batching continuu și paralelism tensorial. Ariile largi de capabilități includ gestionarea resurselor GPU pe diverse hardware-uri precum NVIDIA, AMD și Apple Silicon, precum și gestionarea cuprinzătoare a ciclului de viață al modelelor pentru înregistrare, versionare și scalarea worker-ilor. De asemenea, integrează instrumente de observabilitate pentru urmărirea stării sistemului și a performanței modelului prin metrici compatibile cu Prometheus. Serverul este gestionat printr-o interfață de linie de comandă utilizată pentru controlul ciclului de viață și configurarea parametrilor de runtime.

zml is a machine learning model compiler and cross-platform inference engine that transforms model descriptions into optimized executable binaries for specific hardware accelerators. It functions as a model deployment toolkit and hardware-agnostic orchestrator, utilizing a tensor-based architecture definition to provide strong type checking during the compilation process. The project distinguishes itself through the ability to shard tensors and distribute large-scale AI workloads across a logical mesh of multiple devices. It further supports the remote model lifecycle by authenticating and do