3 مستودعات
Awesome GitHub RepositoriesAWS Data Retrieval
Tools and patterns for extracting large datasets from AWS-hosted services.
Distinct from AWS Postgres Connectors: Shortlist candidates are focused on security or provisioning, not the specific domain of large-scale data retrieval from AWS.
Explore 3 awesome GitHub repositories matching data & databases · AWS Data Retrieval. Refine with filters or upvote what's useful.
Awesome AWS Data Retrieval GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- aws/aws-sdk-go
aws/aws-sdk-go
8,687عرض على GitHubThe AWS SDK for Go is a software development kit and cloud infrastructure library used to programmatically interact with AWS cloud services. It provides a programmatic interface for authenticating requests, executing operations against regional endpoints, and automating the creation and management of cloud resources. The toolkit utilizes model-driven code generation to create service clients and employs a session-based configuration system to share credentials and global settings across those clients. It implements signature-based request authentication to verify identity and integrity throug
Fetches large datasets from AWS services using pagination and handling multipart object downloads.
Go - jorgebastida/awslogs
jorgebastida/awslogs
4,992عرض على GitHubawslogs هي واجهة سطر أوامر وأداة تعتمد على الطرفية للاستعلام عن أحداث السجل وتصفيتها وبثها من AWS CloudWatch. تعمل كأداة لإدارة السجلات وعارض سحابي أصلي للتنقل في مجموعات وتدفقات السجلات. توفر الأداة إمكانيات لمراقبة السجلات في الوقت الفعلي واستخراج حقول محددة من السجلات بتنسيق JSON لتبسيط مراجعة البيانات. وتسمح بعزل مشكلات النظام من خلال استخدام إزاحات الوقت، والتعبيرات النمطية، وأنماط التصفية المخصصة. تغطي الأداة استرجاع أحداث السجل وإدراج مجموعات وتدفقات السجلات المتاحة. كما تدعم تقييد استرجاع البيانات من خلال تصفية نافذة الوقت وتقليل حجم البيانات عبر التصفية القائمة على الأنماط.
Parses JSON formatted logs from AWS CloudWatch to extract specific data fields.
Python - awslabs/aws-data-wrangler
awslabs/aws-data-wrangler
4,107عرض على GitHubهذا المشروع هو مكتبة تكامل AWS pandas وإطار عمل لخط أنابيب البيانات مصمم لتبسيط حركة وتحويل البيانات بين الذاكرة المحلية وخدمات التخزين والتحليلات في AWS. يعمل كأداة لمستودع بيانات السحابة (data lake) ومدير ملفات التخزين، مما يسمح للمستخدمين بقراءة وكتابة وتحويل البيانات المنظمة عبر بيئات سحابية مختلفة. تتميز المكتبة كمنسق حوسبة موزع قادر على إدارة المجموعات في بيئات مثل EMR لمعالجة مجموعات البيانات التي تتجاوز حدود الذاكرة لجهاز واحد. كما توفر قدرات متخصصة لإدارة فهارس المتجهات وإجراء عمليات بحث التشابه داخل حاويات التخزين السحابية. تغطي مساحة قدراتها الأوسع ETL لقاعدة بيانات السحابة لخدمات مثل DynamoDB وRDS وTimestream، بالإضافة إلى إدارة كتالوج بيانات السحابة عبر AWS Glue. وتدعم تحليلات البيانات بدون خادم من خلال Athena وRedshift، وتوفر أدوات لإدارة كائنات S3، وفهرسة المستندات في OpenSearch، وتحليل سجلات CloudWatch.
Provides a unified interface for extracting large datasets from Athena and Redshift into pandas data frames.
Python
