Awesome GitHub RepositoriesOperator Kernel Implementations

Flashlight एक स्टैंडअलोन C++ मशीन लर्निंग लाइब्रेरी और टेंसर लाइब्रेरी है जिसका उपयोग न्यूरल नेटवर्क बनाने और ट्रेन करने के लिए किया जाता है। यह एक व्यापक न्यूरल नेटवर्क फ्रेमवर्क और ऑटोमैटिक डिफरेंशिएशन इंजन के रूप में कार्य करता है, जो कम्प्यूटेशन ग्राफ बनाने और बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए उपकरण प्रदान करता है। यह प्रोजेक्ट एक वितरित ट्रेनिंग फ्रेमवर्क के रूप में कार्य करता है, जो कई कंप्यूट नोड्स और डिवाइसेस पर ग्रेडिएंट्स और पैरामीटर्स को सिंक्रोनाइज़ करने के लिए ऑल-रिड्यूस ऑपरेशन्स का उपयोग करता है। यह उच्च-प्रदर्शन टेंसर मैनिपुलेशन, नेटिव डिवाइस मेमोरी इंटरऑपरेबिलिटी और बड़े पैमाने पर मॉडल ट्रेनिंग को गति देने के लिए वितरित वर्कर्स में वेट्स को सिंक्रोनाइज़ करने के सिस्टम के गहरे एकीकरण के माध्यम से खुद को अलग करता है। यह फ्रेमवर्क रेजिडुअल ब्लॉक्स और रिकरेंट सेल्स जैसे जटिल आर्किटेक्चर को डिज़ाइन करने के लिए मॉड्यूलर लेयर कंपोज़िशन सहित डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मॉडल स्टेट्स को बनाए रखने के लिए सीरियलाइजेशन सिस्टम के साथ-साथ इनजेशन और प्रीफेचिंग के लिए व्यापक डेटा प्रबंधन यूटिलिटीज प्रदान करता है। इसके अतिरिक्त, इसमें ट्रेनिंग मेट्रिक्स को ट्रैक करने और सीक्वेंस एरर्स को मापने के लिए मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल्स का एक सूट शामिल है। यह लाइब्रेरी C++ में इम्प्लीमेंट की गई है।

NCCL is a high-performance communication library and distributed GPU computing framework designed for executing collective and point-to-point data exchanges across multiple GPUs in single or multi-node systems. It serves as an RDMA GPU transport layer and memory orchestrator, facilitating high-bandwidth synchronization of data and model gradients for distributed GPU training and inference. The library is distinguished by its ability to execute communication primitives directly from GPU kernels, removing the host CPU from the critical path. It utilizes topology-aware path selection to optimize

Tengine टूलिंग का एक सूट और एक हल्का निष्पादन इंजन है जिसे सीमित एम्बेडेड हार्डवेयर पर डीप लर्निंग मॉडल चलाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क मॉडल को बदलने, वेट्स को क्वांटाइज़ करने, ऑपरेटर कर्नेल को ऑप्टिमाइज़ करने और CPU, GPU और NPU इकाइयों में इन्फरेंस प्रदर्शन को बेंचमार्क करने के लिए एक इंफ्रास्ट्रक्चर प्रदान करता है। यह प्रोजेक्ट उच्च-दक्षता वाले कर्नेल उत्पन्न करने के लिए एक स्वचालित ऑपरेटर कर्नेल ऑप्टिमाइज़र और एक मॉडल क्वांटाइज़ेशन टूल की सुविधा देता है जो मेमोरी उपयोग को कम करने के लिए परिशुद्धता को पूर्णांक प्रारूपों में कम करता है। इसमें एम्बेडेड उपकरणों पर न्यूरल नेटवर्क आर्किटेक्चर की निष्पादन गति और दक्षता का मूल्यांकन करने के लिए एक समर्पित हार्डवेयर बेंचमार्किंग टूल शामिल है। यह सिस्टम हार्डवेयर-अज्ञेय आंतरिक प्रतिनिधित्व में मॉडल प्रारूप रूपांतरण, मॉड्यूलर ऑपरेटर डिस्पैच और मल्टी-बैकएंड निष्पादन को कवर करता है। ये क्षमताएं एम्बेडेड डिप्लॉयमेंट के लिए बाहरी न्यूरल नेटवर्क परिभाषाओं को एक संगत रनटाइम प्रारूप में बदलने की अनुमति देती हैं।

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

This project is a Chinese language translation of the technical guides and API references for the PyTorch deep learning framework. It serves as a localized knowledge base and reference material to make deep learning documentation accessible to non-English speakers. The documentation covers a comprehensive range of PyTorch capabilities, including neural network model development, automatic differentiation, and the implementation of backend kernels. It provides detailed guidance on distributed training strategies, model deployment through formats like ONNX and C++, and various model optimizatio

NuttX एक POSIX-अनुपालन रीयल-टाइम ऑपरेटिंग सिस्टम है जिसे 8-बिट से 64-बिट आर्किटेक्चर तक के माइक्रोकंट्रोलर्स के लिए डिज़ाइन किया गया है। यह विविध हार्डवेयर लक्ष्यों पर पोर्टेबल कोड निष्पादन सुनिश्चित करने के लिए रीयल-टाइम टास्क शेड्यूलर और POSIX एम्बेडेड कर्नेल के साथ एक डिटरमिनिस्टिक निष्पादन वातावरण प्रदान करता है। यह प्रोजेक्ट एक व्यापक हार्डवेयर एब्स्ट्रैक्शन लेयर के माध्यम से खुद को अलग करता है जो विभिन्न सेमीकंडक्टर चिपसेट्स पर I2C, SPI, CAN और USB के लिए मानकीकृत ड्राइवर्स प्रदान करता है। इसमें TCP, UDP, IPv4 और IPv6 का समर्थन करने वाला एक एम्बेडेड नेटवर्किंग स्टैक भी है, साथ ही Modbus और DroneCAN जैसे औद्योगिक प्रोटोकॉल भी शामिल हैं। सिस्टम ऑन-डिमांड पेजिंग के साथ उन्नत मेमोरी प्रबंधन, सुरक्षित क्रिप्टोग्राफ़िक ऑपरेशन्स और अलग-अलग स्टोरेज प्रकारों के प्रबंधन के लिए एक वर्चुअल फ़ाइल सिस्टम सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह ग्राफिकल यूजर इंटरफेस, ऑडियो सिंथेसिस और कई स्क्रिप्टिंग भाषाओं और WebAssembly वर्कलोड के निष्पादन के लिए उच्च-स्तरीय इंटरफेस को एकीकृत करता है। वातावरण को विशिष्ट बोर्ड कॉन्फ़िगरेशन और सेमीकंडक्टर चिपसेट्स को लक्षित करने के लिए Make या CMake का उपयोग करके बनाया गया है।