Awesome GitHub RepositoriesBatch Prediction Processing

PredictionIO is a machine learning server designed for the deployment of predictive models to transform raw data into actionable predictions. It manages the full lifecycle of machine learning operations, from ingesting event data via APIs to hosting production-ready predictive services for real-time inference. The system supports distributed model training by spreading computational workloads across a cluster of nodes to increase processing speed. It enables the implementation of custom prediction engines using programming languages or the application of pre-built model templates for common t

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

BentoML is a machine learning model serving framework and GPU-accelerated inference server designed to package, deploy, and scale AI models as production-ready REST APIs. It functions as an AI model lifecycle manager and an inference graph orchestrator, enabling the chaining of multiple models and custom logic into complex pipelines for advanced task sequences. The framework distinguishes itself through a dynamic batching engine that optimizes GPU throughput and an artifact-based packaging system that bundles model weights and dependencies into immutable archives for consistent deployment. It

Text Embeddings Inference este un server de inferență de înaltă performanță conceput pentru a găzdui modele de embedding de text și clasificare a secvențelor ca endpoint-uri API scalabile. Oferă un API de vector embedding pentru a converti textul în reprezentări dense și un server de reranking cross-encoder pentru a puncta relevanța secvențelor de documente față de o interogare. Proiectul dispune de un motor de inferență accelerat GPU care utilizează batching dinamic și nuclee specializate pentru a maximiza throughput-ul. Oferă o interfață binară de înaltă performanță prin gRPC ca alternativă la HTTP standard pentru a reduce latența rețelei și overhead-ul de serializare. Sistemul acoperă o gamă largă de capabilități, inclusiv clasarea similarității documentelor, reranking-ul textului multilingv și clasificarea secvențelor pentru predicția categoriilor sau a sentimentului. Suportă diverse medii de deployment, variind de la containere serverless cu auto-scaling până la instalații izolate (air-gapped). Accelerarea hardware este disponibilă pentru GPU-uri NVIDIA, GPU-uri AMD și Apple Metal.

Acest proiect este un framework de servire a modelelor PyTorch conceput pentru a deploya și scala modele de machine learning în producție prin endpoint-uri de rețea scalabile. Funcționează ca un server de inferență de înaltă performanță, optimizator și manager al ciclului de viață al modelelor care gestionează încărcarea modelelor, batching-ul cererilor și accelerarea hardware. Sistemul se distinge prin capabilități avansate de orchestrare și optimizare, cum ar fi înlănțuirea mai multor modele în fluxuri de lucru secvențiale folosind grafuri de execuție și utilizarea batching-ului dinamic pentru a îmbunătăți throughput-ul și latența. Oferă suport specializat pentru AI generativ și modele de limbaj mari (LLM) prin batching continuu și paralelism tensorial. Ariile largi de capabilități includ gestionarea resurselor GPU pe diverse hardware-uri precum NVIDIA, AMD și Apple Silicon, precum și gestionarea cuprinzătoare a ciclului de viață al modelelor pentru înregistrare, versionare și scalarea worker-ilor. De asemenea, integrează instrumente de observabilitate pentru urmărirea stării sistemului și a performanței modelului prin metrici compatibile cu Prometheus. Serverul este gestionat printr-o interfață de linie de comandă utilizată pentru controlul ciclului de viață și configurarea parametrilor de runtime.

LitServe este un framework Python pentru servere de inferență AI și un framework de servire LLM conceput pentru inferență de înaltă concurență. Funcționează ca un server de model AI distribuit și un motor de inferență cu batching dinamic, oferind instrumentele necesare pentru a construi și găzdui servere personalizate care rulează modele AI. Framework-ul se distinge printr-o coadă de cereri cu batching dinamic care grupează cererile individuale de inferență în tensori unici pentru a maximiza throughput-ul GPU. Suportă scalarea GPU distribuită, permițând sarcinilor de lucru ale modelelor să fie distribuite pe mai multe acceleratoare hardware pentru a echilibra sarcinile de calcul și a crește capacitatea totală. Sistemul oferă o interfață wrapper de nivel înalt care decuplează preprocesarea și postprocesarea cererilor de logica de bază de execuție a modelului. Include, de asemenea, capabilități pentru streaming-ul modelelor în timp real pentru a livra output-uri incremental și utilizează o buclă de evenimente asincronă pentru a gestiona cererile de rețea concurente.

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external