Awesome GitHub RepositoriesContainerized Model Serving

Tabby is a self-hosted AI coding assistant designed to provide real-time code completion and interactive chat capabilities within development environments. By functioning as a private server application, it allows teams to maintain control over their infrastructure and data while integrating intelligent code generation directly into their existing workflows. The platform distinguishes itself through its repository-aware knowledge retrieval and multi-model orchestration. It indexes local and remote source code repositories and technical documentation into a searchable vector-based knowledge gr

Ludwig is a declarative machine learning framework designed for training neural networks and large language models using configuration files instead of manual coding. It functions as a multimodal model builder and a low-code tool for supervised fine-tuning, allowing users to build models that process mixed inputs of text, images, audio, and tabular data. The project distinguishes itself through an automated hyperparameter optimizer and a system for large language model fine-tuning using parameter-efficient adapters. It features a multimodal data pipeline and the ability to automatically gener

Dieses Projekt ist eine Inference-Bibliothek und ein Framework für Large Language Models, das darauf ausgelegt ist, Modelle für Textgenerierung, Problemlösung und Coding-Assistenz auszuführen. Es enthält ein multimodales Framework für die Verarbeitung kombinierter Bild- und Texteingaben sowie eine Tool-Use-Implementierung, die die Ausführung externer Funktionen basierend auf Modell-Reasoning ermöglicht. Das System verfügt über eine verteilte GPU-Inference-Engine, die große Modell-Workloads auf mehrere Grafikprozessoren verteilt, um die Verarbeitungsgeschwindigkeit zu erhöhen und Speicheranforderungen zu erfüllen. Es bietet zudem containerisiertes Modell-Deployment durch vorverpackte Images und Abhängigkeiten für das Serving von Inference-Engines in isolierten Umgebungen. Die Bibliothek deckt eine Reihe von Funktionen ab, einschließlich multimodaler Eingabeanalyse, Integration von Function-Calling und Fill-in-the-Middle-Coding zur Vorhersage fehlender Code-Segmente. Zudem unterstützt sie interaktiven Modell-Chat via Command-Line-Interface für die Aufrechterhaltung von Konversationssitzungen.

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

mmtracking is a PyTorch video perception framework designed for training and deploying computer vision models that analyze sequential image data. It provides specialized tools for multi-object tracking, video instance segmentation, and a configuration-driven system for managing deep learning models. The project utilizes a deep learning model registry and a configuration-driven pipeline to swap model backbones and detectors without modifying the core codebase. This modular approach allows for the development of custom perception architectures by combining various components and configurations.

Dieses Projekt ist eine Sammlung von Bildungsressourcen und technischen Leitfäden für das Training, Fine-Tuning und die Bereitstellung von Machine-Learning-Modellen mit PyTorch und Hugging Face. Es dient als praktische Referenz für die Skalierung von Deep-Learning-Workflows und bietet strukturierte Anweisungen für die Verwaltung groß angelegter Architekturen über verteilte Hardware-Beschleuniger hinweg. Das Repository zeichnet sich dadurch aus, dass es sich auf den End-to-End-Lebenszyklus großer Sprachmodelle konzentriert, insbesondere auf containerisierte Bereitstellung und Leistungsoptimierung. Es beschreibt Workflows für parameter-effizientes Fine-Tuning und bietet technische Anleitungen zur Reduzierung des Speicherbedarfs durch Gewichtsquantisierung und spekulative Dekodierungstechniken. Über das Kern-Training und die Bereitstellung hinaus deckt das Projekt ein breites Spektrum an Machine-Learning-Operationen ab, einschließlich Umgebungspaketierung, Performance-Benchmarking und der Konfiguration containerisierter Ausführungsumgebungen. Diese Ressourcen unterstützen die Aufrechterhaltung konsistenter Leistung und Ressourceneffizienz beim Hosten generativer und multimodaler Modelle in der Produktion.