2 रिपॉजिटरी
Recording and versioning every change made to a dataset for state recovery and reproducibility.
Distinct from Mutation Monitors: Focuses on the commit history of dataset mutations rather than the operational monitoring of active mutations.
Explore 2 awesome GitHub repositories matching data & databases · Dataset Mutation Tracking. Refine with filters or upvote what's useful.
LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters
Commits every mutation as a new version and allows pinning to tags for reproducibility.
यह प्रोजेक्ट R के लिए एक उच्च-प्रदर्शन सारणीबद्ध डेटा प्रोसेसिंग फ्रेमवर्क है, जिसे मेमोरी दक्षता और गति के साथ बड़े डेटासेट को संभालने के लिए डिज़ाइन किया गया है। यह एक उन्नत डेटा संरचना प्रदान करता है जो अनावश्यक ऑब्जेक्ट कॉपी करने के ओवरहेड के बिना जटिल परिवर्तन करने के लिए संदर्भ शब्दार्थ (reference semantics) और इन-प्लेस संशोधन का उपयोग करता है। यह लाइब्रेरी अपने निम्न-स्तरीय आर्किटेक्चरल ऑप्टिमाइज़ेशन के माध्यम से खुद को अलग करती है, जिसमें मल्टी-थ्रेडेड समानांतर प्रोसेसिंग, रेडिक्स-आधारित सॉर्टिंग और मेमोरी-मैप्ड फ़ाइल पार्सिंग शामिल है। महत्वपूर्ण डेटा हेरफेर और एकत्रीकरण दिनचर्या को संकलित C कोड में ऑफलोड करके, यह उन कार्यों के तेजी से निष्पादन को सक्षम बनाता है जो अन्यथा गणनात्मक रूप से महंगे होंगे। इसका मुख्य इंजन उन्नत रिलेशनल ऑपरेशंस का समर्थन करता है, जैसे कि नॉन-इक्वी, रोलिंग और ओवरलैपिंग इंटरवल जॉइन्स, साथ ही बार-बार डेटा एक्सेस में तेजी लाने के लिए स्वचालित सेकेंडरी इंडेक्सिंग। अपनी प्राथमिक प्रोसेसिंग क्षमताओं के अलावा, यह प्रोजेक्ट डेटा लाइफसाइकिल प्रबंधन के लिए टूल का एक व्यापक सूट प्रदान करता है। इसमें स्वचालित प्रकार पहचान के साथ उच्च-गति अंतर्ग्रहण और सीरियलाइज़ेशन यूटिलिटीज, साथ ही समय-श्रृंखला विश्लेषण और बहु-आयामी एकत्रीकरण के लिए विशेष समर्थन शामिल है। फ्रेमवर्क को स्केल करने के लिए बनाया गया है, जो उपयोगकर्ताओं को सिस्टम स्थिरता और परफॉरमेंस बनाए रखते हुए अरबों पंक्तियों वाले डेटासेट पर जटिल समूहीकरण, फ़िल्टरिंग और रीशेपिंग ऑपरेशन करने की अनुमति देता है।
Returns the number of rows modified during the most recent in-place update to monitor mutation scale.