Awesome GitHub RepositoriesInference Model Deployment

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Gluon-CV एक MXNet कंप्यूटर विज़न लाइब्रेरी है जो प्री-इंप्लीमेंटेड विज़न आर्किटेक्चर और ट्रेनिंग पाइपलाइन्स का एक व्यापक संग्रह प्रदान करती है। यह एक डीप लर्निंग रिसर्च टूलकिट और मॉडल ज़ू के रूप में कार्य करती है, जिसमें इमेज और वीडियो एनालिसिस के लिए अत्याधुनिक प्री-ट्रेंड वेट्स शामिल हैं। इस प्रोजेक्ट में एक विशेष ह्यूमन पोज़ एस्टिमेशन लाइब्रेरी और मॉडल कम्प्रेशन टूलकिट शामिल है। ये टूल्स इन्फरेंस स्पीड बढ़ाने और कंस्ट्रेंड एज हार्डवेयर पर डिप्लॉयमेंट को सुविधाजनक बनाने के लिए डीप लर्निंग मॉडल्स की प्रूनिंग और क्वांटाइज़ेशन की अनुमति देते हैं। यह लाइब्रेरी इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन और सिमेंटिक व इंस्टेंस सेगमेंटेशन जैसी विज़न क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है।

YOLOv6 एक सिंगल-स्टेज डीप लर्निंग फ्रेमवर्क है जिसे औद्योगिक ऑब्जेक्ट डिटेक्शन के लिए डिज़ाइन किया गया है। यह इमेजेस के भीतर ऑब्जेक्ट्स की पहचान करने और उनका पता लगाने के लिए एक कंप्यूटर विज़न मॉडल ट्रेनर के रूप में कार्य करता है, साथ ही एक इंस्टेंस सेगमेंटेशन टूल के रूप में भी जो मास्क का उपयोग करके सटीक ऑब्जेक्ट बाउंड्रीज़ को रेखांकित करता है। इस प्रोजेक्ट में एक विशेष मोबाइल इन्फरेंस ऑप्टिमाइज़र और मॉडल क्वांटाइज़ेशन टूलकिट शामिल है। ये कंपोनेंट्स ARM-बेस्ड चिपसेट्स पर एग्जीक्यूशन स्पीड को बेहतर बनाने के लिए मॉडल साइज और रिज़ॉल्यूशन को कम करने और फाइल साइज को घटाने के लिए मॉडल्स को लो-प्रिसिजन फॉर्मेट्स में बदलने पर केंद्रित हैं।

MMdnn is a deep learning model converter and migrator designed to translate neural network architectures and weights between different frameworks such as TensorFlow, PyTorch, and Keras. It utilizes a standardized intermediate representation to decouple network structures and weights from specific framework implementations, enabling the transformation of pre-trained models across different environments. The project distinguishes itself by generating native Python reconstruction code from its intermediate representations, allowing models to be rebuilt and fine-tuned in target environments. It a

यह प्रोजेक्ट YOLOv4 ऑब्जेक्ट डिटेक्शन फ्रेमवर्क का PyTorch इम्प्लीमेंटेशन है। यह न्यूरल नेटवर्क को प्रशिक्षित और डिप्लॉय करने के लिए एक सिस्टम प्रदान करता है जो छवियों और वीडियो स्ट्रीम के भीतर कई वस्तुओं की पहचान और पता लगाता है। फ्रेमवर्क में प्रशिक्षित वेट्स को यूनिवर्सल फॉर्मेट और हार्डवेयर-विशिष्ट अनुकूलित इंजनों में बदलने के लिए टूल्स शामिल हैं, जो विशेष रूप से ONNX और TensorRT का समर्थन करते हैं। इसमें लेटेंसी कम करने और थ्रूपुट बढ़ाने के लिए एक TensorRT इन्फरेंस ऑप्टिमाइज़र, और NVIDIA DeepStream स्ट्रीमिंग एनालिटिक्स पाइपलाइन के साथ संगत एक मॉडल आर्किटेक्चर शामिल है। यह सिस्टम मोज़ेक डेटा ऑगमेंटेशन के साथ मॉडल प्रशिक्षण को कवर करता है और कई इन्फरेंस इंजनों में रीयल-टाइम ऑब्जेक्ट डिटेक्शन का समर्थन करता है। यह TensorFlow में मॉडल रूपांतरण के लिए उपयोगिताएँ प्रदान करता है और डिप्लॉयमेंट के लिए स्टेटिक और डायनेमिक बैच कॉन्फ़िगरेशन दोनों का समर्थन करता है।

lite.ai.toolkit एज AI तैनाती के लिए डिज़ाइन किया गया एक C++ कंप्यूटर विज़न टूलकिट है। यह संसाधन-सीमित उपकरणों पर ऑब्जेक्ट डिटेक्शन, इमेज क्लासिफिकेशन और सेगमेंटेशन के लिए प्री-ट्रेंड मॉडल के निष्पादन को सक्षम बनाता है। इस प्रोजेक्ट में एक मल्टी-बैकएंड इन्फरेंस इंजन है जो ONNX मॉडल रनटाइम का समर्थन करता है, जिससे AI मॉडल को विभिन्न हार्डवेयर लक्ष्यों पर चलने की अनुमति मिलती है। इसमें लेटेंसी को कम करने और प्रोसेसिंग गति बढ़ाने के लिए विशेष रूप से NVIDIA हार्डवेयर के लिए एक GPU-त्वरित पाइपलाइन शामिल है। यह टूलकिट चेहरे के विश्लेषण की क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें भावना पहचान, लिंग और आयु अनुमान और हेड पोज़ विश्लेषण शामिल है। यह फीचर एम्बेडिंग के निष्कर्षण और पहचान को सत्यापित करने के लिए कोसाइन समानता की गणना के माध्यम से चेहरे की पहचान के लिए उपकरण भी प्रदान करता। अतिरिक्त क्षमताओं में फोरग्राउंड आइसोलेशन के लिए इमेज मैटिंग, ग्रेस्केल इमेज कलराइज़ेशन और आर्टिस्टिक स्टाइल ट्रांसफर शामिल हैं।

This project is a deep learning implementation of the RetinaNet architecture for detecting and classifying objects within images. Built as a Keras object detection framework and a TensorFlow computer vision tool, it provides a complete neural network implementation based on the RetinaNet paper. The framework includes specialized components such as a Feature Pyramid Network and a focal loss function to handle object detection. It features a configurable backbone architecture and anchor-based bounding boxes to predict object locations across varying scales and aspect ratios. The toolset covers

MODNet एक डीप लर्निंग इमेज सेगमेंटर और पोर्ट्रेट मैटिंग मॉडल है जिसे पृष्ठभूमि से मानव विषयों को अलग करने के लिए डिज़ाइन किया गया है। यह केवल मानक RGB इनपुट का उपयोग करके छवियों और वीडियो के लिए उच्च-गुणवत्ता वाले अल्फा मैट्स उत्पन्न करता है, जिससे मैनुअल ट्रिमैप गाइड की आवश्यकता समाप्त हो जाती है। यह फ्रेमवर्क रीयल-टाइम अनुमान के लिए अनुकूलित है और लक्षित हार्डवेयर पर तैनाती के लिए प्री-ट्रेंड मॉडल वेट को विशेष प्रारूपों में निर्यात करने के लिए उपयोगिताएं प्रदान करता है। यह प्रोजेक्ट पोर्ट्रेट आइसोलेशन के लिए पूर्ण वर्कफ़्लो को कवर करता है, जिसमें लेबल किए गए डेटासेट पर सुपरवाइज्ड मैटिंग मॉडल प्रशिक्षण, रीयल-टाइम वीडियो पृष्ठभूमि हटाना और एज हार्डवेयर तैनाती शामिल है।