Awesome GitHub RepositoriesModel Serving Frameworks

LocalAI is a self-hosted inference server that enables the execution of machine learning models directly on local hardware. By providing a unified interface for text, image, and audio processing, it allows users to maintain full control over data privacy and infrastructure costs while eliminating dependencies on external network services. The platform functions as an API gateway that mimics standard cloud-based artificial intelligence interfaces, allowing existing applications to integrate local models as drop-in replacements. It utilizes a container-based architecture to package runtimes and

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

PowerInfer is an inference engine and serving framework designed to run large language models on local hardware. It combines a hybrid CPU-GPU offloader, a quantization tool, and a sparse model optimizer to enable the execution of high-parameter models on consumer-grade devices. The system distinguishes itself through neuron-activation-based offloading, using a predictor model to preload frequent neurons into VRAM while keeping rare neurons in system memory. This hybrid execution model balances workloads between the GPU and CPU based on input patterns to optimize memory access and increase tok

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

ToolBench is an open platform for training, serving, and evaluating large language models that retrieve and call real-world APIs to complete user instructions. It provides an API-aware inference engine that selects relevant tools from a large corpus and generates sequences of tool calls to produce final answers, along with a custom API registration system that lets users add their own REST endpoints for the model to discover and invoke. The platform includes a complete instruction-tuning pipeline for training models on curated tool-use data, a multi-tool execution engine that coordinates sequ

KServe is an open platform for deploying and serving generative and predictive AI models on Kubernetes. It defines inference services as custom resources with declarative YAML specifications, enabling a Kubernetes-native approach to model deployment and lifecycle management. The platform leverages Knative-based serverless scaling for automatic scale-to-zero and revision management, and supports a pluggable serving runtime architecture that maps model formats to containerized execution environments. KServe distinguishes itself through model-aware autoscaling that scales replicas based on token

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

هذا المشروع عبارة عن مورد تعليمي ومنهج شامل يركز على تصميم وتنفيذ حزمة برمجيات وأجهزة تعلم الآلة الكاملة. يعمل كمرجع تقني لهندسة أنظمة تعلم الآلة، بدءاً من واجهات البرمجة منخفضة المستوى إلى بنية التحتية للنشر على نطاق واسع. يوفر المشروع إرشادات تعليمية حول العديد من المجالات المتخصصة، بما في ذلك تطوير مترجمات الذكاء الاصطناعي من خلال تمثيلات وسيطة وتحسينات الرسوم البيانية. ويغطي أنماط الهندسة المعمارية المطلوبة للتدريب الموزع عبر عناقيد GPU وبرمجة مسرعات الأجهزة لتحسين أحمال العمل على الرقائق المتخصصة. يفصل المورد أيضاً تنفيذ إطارات عمل خدمة النماذج لبيئات الإنتاج وتصميم خطوط أنابيب التعلم التعزيزي. ويمتد نطاقه إلى المكونات الأساسية لأنظمة تعلم الآلة، مثل التمايز التلقائي، وتجريدات الموترات، وتنسيق موارد GPU.

هذا المستودع عبارة عن مجموعة من تطبيقات المرجع والقوالب ومعارض العينات لبناء ودمج نماذج تعلم الآلة داخل نظام .NET البيئي. يوفر مجموعة من العروض التوضيحية العملية لتنفيذ سير عمل تعلم الآلة باستخدام إطار عمل ML.NET. يؤكد المشروع على دمج النماذج المدربة مسبقًا عبر تنسيق Open Neural Network Exchange، مما يسمح بتنفيذ منطق تعلم الآلة الخارجي داخل التطبيقات المدارة. يتضمن أمثلة محددة لتحميل وتنفيذ هذه النماذج الموحدة لضمان التوافق عبر المنصات. تغطي العينات مجموعة من مهام التعلم الخاضع للإشراف، بما في ذلك تصنيف مشاعر النص، وتحليل الصور والفيديو للكشف عن الكائنات، والتنبؤ بالسلاسل الزمنية. كما يوفر تطبيقات للكشف عن شذوذ الشبكة وأدوات لتحسين المعلمات الفائقة (hyperparameters) وخطوط أنابيب تحويل البيانات.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

lite.ai.toolkit هي مجموعة أدوات رؤية حاسوبية بلغة C++ مصممة لنشر الذكاء الاصطناعي على الحافة. تتيح تنفيذ النماذج المدربة مسبقاً لاكتشاف الكائنات، وتصنيف الصور، والتجزئة على الأجهزة ذات الموارد المحدودة. يتميز المشروع بمحرك استنتاج متعدد الخلفيات يدعم وقت تشغيل نموذج ONNX، مما يسمح لنماذج الذكاء الاصطناعي بالعمل عبر أهداف عتادية مختلفة. ويتضمن خط أنابيب مسرع بواسطة GPU خصيصاً لأجهزة NVIDIA لتقليل زمن الانتقال وزيادة سرعة المعالجة. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تحليل الوجوه، بما في ذلك اكتشاف المشاعر، وتقدير الجنس والعمر، وتحليل وضعية الرأس. كما توفر أدوات للتعرف على الوجوه من خلال استخراج تضمينات الميزات وحساب تشابه جيب التمام (cosine similarity) للتحقق من الهويات. تشمل القدرات الإضافية عزل المقدمة (image matting)، وتلوين الصور الرمادية، ونقل الأسلوب الفني.

هذا المشروع عبارة عن مورد تعليمي شامل ودليل تدريبي لبناء وتدريب ونشر نماذج تعلم الآلة باستخدام TensorFlow 2. يعمل كدليل تعليمي منظم يغطي مفاهيم التعلم العميق الأساسية، بما في ذلك معماريات الشبكات العصبية، والاشتقاق التلقائي، وعمليات الموترات (Tensors). يوفر الدليل توجيهات تقنية حول تحسين كفاءة التنفيذ من خلال إدارة ذاكرة GPU، والتدريب الموزع، وتكميم النماذج (Model Quantization). كما يتضمن أدلة مفصلة لبناء خطوط معالجة بيانات عالية الأداء وتصدير النماذج لخوادم الإنتاج، والأجهزة المحمولة، ومتصفحات الويب. تغطي المادة مجموعة واسعة من القدرات، بما في ذلك تطوير النماذج باستخدام الشبكات التلافيفية (CNN) والمتكررة (RNN)، وتنفيذ دوال خسارة وطبقات مخصصة، واستخدام النماذج المدربة مسبقاً للتعلم بنقل المعرفة (Transfer Learning). كما يتناول استراتيجيات النشر للأجهزة الطرفية (Edge Devices) واستخدام بيئات التشغيل السحابية لتسريع العتاد. تم تنفيذ المادة كمجموعة من دفاتر Jupyter Notebooks.

vllm-omni is a high-throughput serving engine and distributed inference framework designed for omni-modal models. It serves as a multi-modal model API server capable of generating text, image, video, and audio data, providing a standardized interface for remote client access. The system features a non-autoregressive generation engine for parallel media production and a robot policy inference server that acts as a real-time communication bridge to robotic hardware using specialized protocols. It supports hybrid execution models that combine sequential token generation with parallelized media g