1 रिपॉजिटरी
Awesome GitHub RepositoriesOptimized DataFrame Storage
Saving structured data frames as optimized files in cloud storage with optional catalog registration.
Distinct from Data Storage Optimizers: Focuses on the high-level saving of data frames rather than low-level storage compression techniques
Explore 1 awesome GitHub repository matching data & databases · Optimized DataFrame Storage. Refine with filters or upvote what's useful.
Awesome Optimized DataFrame Storage GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107GitHub पर देखेंयह प्रोजेक्ट एक AWS pandas एकीकरण लाइब्रेरी और डेटा पाइपलाइन फ्रेमवर्क है जिसे स्थानीय मेमोरी और AWS स्टोरेज और एनालिटिक्स सेवाओं के बीच डेटा की आवाजाही और रूपांतरण को सरल बनाने के लिए डिज़ाइन किया गया है। यह एक क्लाउड डेटा लेक टूलकिट और स्टोरेज फाइल मैनेजर के रूप में कार्य करता है, जो उपयोगकर्ताओं को विभिन्न क्लाउड वातावरणों में संरचित डेटा को पढ़ने, लिखने और बदलने की अनुमति देता है। लाइब्रेरी एक डिस्ट्रीब्यूटेड कंप्यूट ऑर्केस्ट्रेटर के रूप में खुद को अलग करती है जो EMR जैसे वातावरण में क्लस्टर्स को प्रबंधित करने में सक्षम है ताकि उन डेटासेट्स को प्रोसेस किया जा सके जो एक मशीन की मेमोरी सीमा से अधिक हैं। यह वेक्टर इंडेक्स को प्रबंधित करने और क्लाउड स्टोरेज बकेट्स के भीतर समानता खोज (similarity searches) करने के लिए विशेष क्षमताएं भी प्रदान करती है। इसकी व्यापक क्षमता सतह DynamoDB, RDS और Timestream जैसी सेवाओं के लिए क्लाउड डेटाबेस ETL, और AWS Glue के माध्यम से क्लाउड डेटा कैटलॉग प्रबंधन को कवर करती है। यह Athena और Redshift के माध्यम से सर्वरलेस डेटा एनालिटिक्स का समर्थन करती है, और S3 ऑब्जेक्ट्स को प्रबंधित करने, OpenSearch में दस्तावेजों को इंडेक्स करने और CloudWatch लॉग्स का विश्लेषण करने के लिए यूटिलिटीज प्रदान करती है।
Saves structured data as optimized files in cloud buckets and optionally registers them in a data catalog.
Python
