2 रिपॉजिटरी
Awesome GitHub RepositoriesData Loading Accelerators
Optimizations for reducing data ingestion latency through lazy decoding and parallel metadata retrieval.
Distinct from Parallel Data Loading: Candidates focus on UI lazy loading or specific audio pre-loading; this is a general framework-level acceleration for ML data.
Explore 2 awesome GitHub repositories matching data & databases · Data Loading Accelerators. Refine with filters or upvote what's useful.
Awesome Data Loading Accelerators GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- tensorflow/datasets
tensorflow/datasets
4,575GitHub पर देखेंThis project is a dataset management framework and cross-framework data loader that provides a unified interface for reading data formats compatible with TensorFlow, JAX, and PyTorch. It serves as a library of curated public datasets provided as data streams and includes tools for building, versioning, and documenting large-scale datasets. The system differentiates itself through a distributed data processing engine capable of managing massive datasets across clusters using parallelized pipelines. It utilizes builder-based construction to standardize how data is downloaded and prepared, while
Increases loading speed using partial decoding, parallel metadata retrieval, and in-memory caching.
Python - pytorch/serve
pytorch/serve
4,354GitHub पर देखेंयह प्रोजेक्ट एक PyTorch मॉडल सर्विंग फ्रेमवर्क है जिसे स्केलेबल नेटवर्क एंडपॉइंट्स के माध्यम से प्रोडक्शन में मशीन लर्निंग मॉडल को तैनात और स्केल करने के लिए डिज़ाइन किया गया है। यह एक उच्च-प्रदर्शन इन्फरेंस सर्वर, ऑप्टिमाइज़र और मॉडल लाइफसाइकिल मैनेजर के रूप में कार्य करता है जो मॉडल लोडिंग, रिक्वेस्ट बैचिंग और हार्डवेयर एक्सेलेरेशन को संभालता है। यह सिस्टम उन्नत ऑर्केस्ट्रेशन और ऑप्टिमाइज़ेशन क्षमताओं के माध्यम से खुद को अलग करता है, जैसे कि निष्पादन ग्राफ़ का उपयोग करके कई मॉडलों को अनुक्रमिक वर्कफ़्लो में जोड़ना और थ्रूपुट व विलंबता में सुधार करने के लिए डायनेमिक बैचिंग को नियोजित करना। यह निरंतर बैचिंग और टेंसर समानता (tensor parallelism) के माध्यम से जेनरेटिव AI और बड़े भाषा मॉडल के लिए विशेष समर्थन प्रदान करता है। व्यापक क्षमता क्षेत्रों में NVIDIA, AMD और Apple Silicon जैसे विविध हार्डवेयर पर GPU संसाधन प्रबंधन, साथ ही पंजीकरण, संस्करण और वर्कर स्केलिंग के लिए व्यापक मॉडल लाइफसाइकिल प्रबंधन शामिल है। यह Prometheus-संगत मेट्रिक्स के माध्यम से सिस्टम स्वास्थ्य और मॉडल प्रदर्शन को ट्रैक करने के लिए ऑब्जर्वेबिलिटी टूल्स को भी एकीकृत करता है। सर्वर को लाइफसाइकिल नियंत्रण और रनटाइम मापदंडों के कॉन्फ़िगरेशन के लिए उपयोग किए जाने वाले कमांड-लाइन इंटरफ़ेस के माध्यम से प्रबंधित किया जाता है।
Accelerates media data loading and preprocessing using optimized building blocks to eliminate bottlenecks.
Java
