Awesome GitHub RepositoriesBatch Prediction Processing

PredictionIO is a machine learning server designed for the deployment of predictive models to transform raw data into actionable predictions. It manages the full lifecycle of machine learning operations, from ingesting event data via APIs to hosting production-ready predictive services for real-time inference. The system supports distributed model training by spreading computational workloads across a cluster of nodes to increase processing speed. It enables the implementation of custom prediction engines using programming languages or the application of pre-built model templates for common t

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

BentoML is a machine learning model serving framework and GPU-accelerated inference server designed to package, deploy, and scale AI models as production-ready REST APIs. It functions as an AI model lifecycle manager and an inference graph orchestrator, enabling the chaining of multiple models and custom logic into complex pipelines for advanced task sequences. The framework distinguishes itself through a dynamic batching engine that optimizes GPU throughput and an artifact-based packaging system that bundles model weights and dependencies into immutable archives for consistent deployment. It

Text Embeddings Inference ist ein hochperformanter Inferenz-Server, der darauf ausgelegt ist, Text-Embedding- und Sequenz-Klassifizierungsmodelle als skalierbare API-Endpunkte zu hosten. Er bietet eine Vektor-Embedding-API zur Konvertierung von Text in dichte Repräsentationen sowie einen Cross-Encoder-Reranking-Server zur Bewertung der Relevanz von Dokumentsequenzen gegenüber einer Abfrage. Das Projekt bietet eine GPU-beschleunigte Inferenz-Engine, die dynamisches Batching und spezialisierte Kernels nutzt, um den Durchsatz zu maximieren. Es bietet eine hochperformante binäre Schnittstelle via gRPC als Alternative zu Standard-HTTP, um Netzwerklatenz und Serialisierungs-Overhead zu reduzieren. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Dokument-Ähnlichkeits-Ranking, mehrsprachigem Text-Reranking und Sequenz-Klassifizierung zur Vorhersage von Kategorien oder Sentiment. Es unterstützt diverse Deployment-Umgebungen, von serverlosen Auto-Scaling-Containern bis hin zu Air-Gapped-Installationen. Hardwarebeschleunigung ist für NVIDIA-GPUs, AMD-GPUs und Apple Metal verfügbar.

Dieses Projekt ist ein PyTorch-Framework für das Model-Serving, das darauf ausgelegt ist, Machine-Learning-Modelle in der Produktion über skalierbare Netzwerk-Endpunkte bereitzustellen. Es fungiert als leistungsstarker Inference-Server, Optimierer und Modell-Lifecycle-Manager, der das Laden von Modellen, Request-Batching und Hardware-Beschleunigung übernimmt. Das System zeichnet sich durch fortschrittliche Orchestrierungs- und Optimierungsfunktionen aus, wie etwa das Verketten mehrerer Modelle zu sequenziellen Workflows mittels Ausführungsgraphen und den Einsatz von Dynamic Batching zur Verbesserung von Durchsatz und Latenz. Es bietet spezialisierte Unterstützung für generative KI und Large Language Models durch Continuous Batching und Tensor-Parallelität. Zu den breiten Funktionsbereichen gehören GPU-Ressourcenmanagement für diverse Hardware wie NVIDIA, AMD und Apple Silicon sowie ein umfassendes Lifecycle-Management für Registrierung, Versionierung und Worker-Skalierung. Zudem integriert es Observability-Tools zur Überwachung des Systemzustands und der Modellleistung über Prometheus-kompatible Metriken. Der Server wird über eine Kommandozeilenschnittstelle verwaltet, die zur Steuerung des Lifecycles und zur Konfiguration von Laufzeitparametern dient.

LitServe ist ein Python-Framework für KI-Inferenzserver und LLM-Serving, das für Inferenz mit hoher Nebenläufigkeit konzipiert ist. Es fungiert als verteilter KI-Modellserver und Inferenz-Engine mit dynamischem Batching und bietet die Werkzeuge zum Erstellen und Hosten benutzerdefinierter Server, auf denen KI-Modelle laufen. Das Framework zeichnet sich durch eine Request-Queue mit dynamischem Batching aus, die einzelne Inferenzanfragen zu einzelnen Tensoren gruppiert, um den GPU-Durchsatz zu maximieren. Es unterstützt verteiltes GPU-Skalieren, wodurch Modell-Workloads auf mehrere Hardware-Beschleuniger verteilt werden können, um Rechenlasten auszugleichen und die Gesamtkapazität zu erhöhen. Das System bietet eine High-Level-Wrapper-Schnittstelle, die Request-Preprocessing und Postprocessing von der Kern-Modellausführungslogik entkoppelt. Es enthält zudem Funktionen für Echtzeit-Modell-Streaming zur inkrementellen Bereitstellung von Ausgaben und nutzt eine asynchrone Event-Loop zur Handhabung gleichzeitiger Netzwerkanfragen.

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external