Awesome GitHub RepositoriesRemote Model Loading

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

llama-rs Rust में कार्यान्वित एक स्थानीय लार्ज लैंग्वेज मॉडल इन्फ़्रेंस इंजन है। यह उपयोगकर्ता प्रॉम्प्ट्स से टेक्स्ट रिस्पॉन्स जनरेट करने के लिए स्थानीय हार्डवेयर पर मॉडल कंप्यूटेशन के निष्पादन को सक्षम बनाता है। प्रोजेक्ट उच्च-प्रदर्शन लीनियर बीजगणित और कुशल वेट लोडिंग को संभालने के लिए Rust-आधारित टेंसर ऑपरेशंस और डायरेक्ट-मेमोरी मॉडल मैपिंग का उपयोग करता है। यह उच्च-सटीक वेट्स को छोटे फ़ॉर्मेट में परिवर्तित करके मॉडल के मेमोरी फ़ुटप्रिंट को कम करने के लिए वेट क्वांटाइज़ेशन को शामिल करता है। सिस्टम में इंटरैक्टिव चैट सत्रों और वन-ऑफ़ प्रॉम्प्ट्स के लिए एक कमांड-लाइन इंटरफ़ेस शामिल है, साथ ही संवाद इतिहास को सहेजने और पुनर्स्थापित करने के लिए फ़ाइल-बैक्ड सेशन पर्सिस्टेंस भी है। यह रिमोट हब से टोकनाइज़र कॉन्फ़िगरेशन प्राप्त करने के लिए यूटिलिटीज और मॉडल प्रदर्शन का मूल्यांकन करने के लिए परप्लेक्सिटी स्कोर की गणना करने के लिए टूल्स भी प्रदान करता है।

KServe is an open platform for deploying and serving generative and predictive AI models on Kubernetes. It defines inference services as custom resources with declarative YAML specifications, enabling a Kubernetes-native approach to model deployment and lifecycle management. The platform leverages Knative-based serverless scaling for automatic scale-to-zero and revision management, and supports a pluggable serving runtime architecture that maps model formats to containerized execution environments. KServe distinguishes itself through model-aware autoscaling that scales replicas based on token

यह प्रोजेक्ट एक PyTorch मॉडल सर्विंग फ्रेमवर्क है जिसे स्केलेबल नेटवर्क एंडपॉइंट्स के माध्यम से प्रोडक्शन में मशीन लर्निंग मॉडल को तैनात और स्केल करने के लिए डिज़ाइन किया गया है। यह एक उच्च-प्रदर्शन इन्फरेंस सर्वर, ऑप्टिमाइज़र और मॉडल लाइफसाइकिल मैनेजर के रूप में कार्य करता है जो मॉडल लोडिंग, रिक्वेस्ट बैचिंग और हार्डवेयर एक्सेलेरेशन को संभालता है। यह सिस्टम उन्नत ऑर्केस्ट्रेशन और ऑप्टिमाइज़ेशन क्षमताओं के माध्यम से खुद को अलग करता है, जैसे कि निष्पादन ग्राफ़ का उपयोग करके कई मॉडलों को अनुक्रमिक वर्कफ़्लो में जोड़ना और थ्रूपुट व विलंबता में सुधार करने के लिए डायनेमिक बैचिंग को नियोजित करना। यह निरंतर बैचिंग और टेंसर समानता (tensor parallelism) के माध्यम से जेनरेटिव AI और बड़े भाषा मॉडल के लिए विशेष समर्थन प्रदान करता है। व्यापक क्षमता क्षेत्रों में NVIDIA, AMD और Apple Silicon जैसे विविध हार्डवेयर पर GPU संसाधन प्रबंधन, साथ ही पंजीकरण, संस्करण और वर्कर स्केलिंग के लिए व्यापक मॉडल लाइफसाइकिल प्रबंधन शामिल है। यह Prometheus-संगत मेट्रिक्स के माध्यम से सिस्टम स्वास्थ्य और मॉडल प्रदर्शन को ट्रैक करने के लिए ऑब्जर्वेबिलिटी टूल्स को भी एकीकृत करता है। सर्वर को लाइफसाइकिल नियंत्रण और रनटाइम मापदंडों के कॉन्फ़िगरेशन के लिए उपयोग किए जाने वाले कमांड-लाइन इंटरफ़ेस के माध्यम से प्रबंधित किया जाता है।

zml is a machine learning model compiler and cross-platform inference engine that transforms model descriptions into optimized executable binaries for specific hardware accelerators. It functions as a model deployment toolkit and hardware-agnostic orchestrator, utilizing a tensor-based architecture definition to provide strong type checking during the compilation process. The project distinguishes itself through the ability to shard tensors and distribute large-scale AI workloads across a logical mesh of multiple devices. It further supports the remote model lifecycle by authenticating and do