Awesome GitHub RepositoriesApache Arrow-Based Formats

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

GluonTS एक प्रोबेबिलिस्टिक टाइम सीरीज़ लाइब्रेरी और डीप लर्निंग फोरकास्टिंग फ्रेमवर्क है। यह न्यूरल नेटवर्क आर्किटेक्चर बनाने, प्रशिक्षित करने और मूल्यांकन करने के लिए एक टूलकिट प्रदान करता है, जो अनिश्चितता को मापने के लिए भविष्य के मूल्यों को प्रायिकता वितरण (probability distributions) के रूप में अनुमानित करते हैं। यह प्रोजेक्ट ज़ीरो-शॉट फोरकास्टिंग का समर्थन करके और डीप प्रोबेबिलिस्टिक न्यूरल नेटवर्क तथा Prophet और R forecast जैसी बाहरी सांख्यिकीय लाइब्रेरी के लिए रैपर सहित विविध मॉडलिंग दृष्टिकोणों को एकीकृत करके खुद को अलग करता है। यह सूचना रिसाव को रोकने और लेटेंट रिप्रेजेंटेशन को वैध प्रायिकता वितरण में मैप करने के लिए कैज़ुअल कन्वोल्यूशन और इनवर्टिबल रेसिड्यूअल नेटवर्क जैसे विशेष आर्किटेक्चरल प्रिमिटिव्स को लागू करता है। यह फ्रेमवर्क टाइम सीरीज़ स्केलिंग, बाइजेक्टिव ट्रांसफॉर्मेशन और पदानुक्रमित मॉडलिंग सहित एक व्यापक डेटा इंजीनियरिंग सतह को कवर करता है। यह उच्च-प्रदर्शन डेटासेट स्ट्रीमिंग और रैंडम-एक्सेस प्रबंधन के लिए Apache Arrow और Parquet का उपयोग करता है। मॉडल मूल्यांकन के लिए, इसमें क्वांटाइल लॉस और कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर जैसे मेट्रिक्स का उपयोग करके पूर्वानुमान सटीकता और प्रोबेबिलिस्टिक कवरेज को मापने के लिए एक मूल्यांकन सूट शामिल है। यह लाइब्रेरी Amazon SageMaker के साथ एकीकरण के माध्यम से मॉडल परिनियोजन (deployment) का समर्थन करती है।