Awesome GitHub RepositoriesContainerized Model Serving

Tabby is a self-hosted AI coding assistant designed to provide real-time code completion and interactive chat capabilities within development environments. By functioning as a private server application, it allows teams to maintain control over their infrastructure and data while integrating intelligent code generation directly into their existing workflows. The platform distinguishes itself through its repository-aware knowledge retrieval and multi-model orchestration. It indexes local and remote source code repositories and technical documentation into a searchable vector-based knowledge gr

Ludwig is a declarative machine learning framework designed for training neural networks and large language models using configuration files instead of manual coding. It functions as a multimodal model builder and a low-code tool for supervised fine-tuning, allowing users to build models that process mixed inputs of text, images, audio, and tabular data. The project distinguishes itself through an automated hyperparameter optimizer and a system for large language model fine-tuning using parameter-efficient adapters. It features a multimodal data pipeline and the ability to automatically gener

هذا المشروع عبارة عن مكتبة وإطار عمل لاستنتاج النماذج اللغوية الكبيرة مصمم لتشغيل النماذج لتوليد النصوص، وحل المشكلات، والمساعدة في البرمجة. يتضمن إطار عمل متعدد الوسائط لمعالجة مدخلات الصور والنصوص المدمجة وتنفيذ استخدام الأدوات الذي يتيح تنفيذ دوال خارجية بناءً على منطق النموذج. يتميز النظام بمحرك استنتاج GPU موزع يوزع أعباء عمل النماذج الكبيرة عبر معالجات رسومية متعددة لزيادة سرعة المعالجة وتلبية متطلبات الذاكرة. كما يوفر نشر النماذج بالحاويات من خلال صور وتبعيات معبأة مسبقاً لتقديم محركات الاستنتاج في بيئات معزولة. تغطي المكتبة مجموعة من القدرات بما في ذلك تحليل المدخلات متعددة الوسائط، وتكامل استدعاء الدوال، وإكمال الكود في المنتصف للتنبؤ بأجزاء الكود المفقودة. كما تدعم الدردشة التفاعلية مع النموذج عبر واجهة سطر أوامر للحفاظ على جلسات المحادثة.

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

mmtracking is a PyTorch video perception framework designed for training and deploying computer vision models that analyze sequential image data. It provides specialized tools for multi-object tracking, video instance segmentation, and a configuration-driven system for managing deep learning models. The project utilizes a deep learning model registry and a configuration-driven pipeline to swap model backbones and detectors without modifying the core codebase. This modular approach allows for the development of custom perception architectures by combining various components and configurations.

هذا المشروع عبارة عن مجموعة شاملة من الموارد التعليمية والأدلة الفنية لتدريب، وضبط، ونشر نماذج تعلم الآلة باستخدام PyTorch وHugging Face. يعمل كمرجع عملي لتوسيع نطاق سير عمل التعلم العميق، حيث يقدم تعليمات منظمة لإدارة البنيات واسعة النطاق عبر مسرعات الأجهزة الموزعة. يتميز المستودع بالتركيز على دورة الحياة الشاملة لنماذج اللغة الكبيرة، مع التأكيد بشكل خاص على النشر في الحاويات وتحسين الأداء. يفصل المستودع سير العمل للضبط الدقيق الفعال للمعلمات ويوفر توجيهاً فنياً حول تقليل بصمات الذاكرة من خلال تقنيات تكميم الوزن وفك التشفير التخميني. بعيداً عن التدريب والنشر الأساسي، يغطي المشروع مجموعة واسعة من عمليات تعلم الآلة، بما في ذلك تغليف البيئة، وقياس الأداء، وتكوين بيئات التنفيذ الحاوية. تساعد هذه الموارد في الحفاظ على أداء متسق وكفاءة في الموارد عند استضافة النماذج التوليدية والمتعددة الوسائط في الإنتاج.