1 مستودع
Awesome GitHub RepositoriesAnalysis Dataset Optimization
Processes for merging data files and filtering fields to reduce memory footprint before database ingestion.
Distinct from Dataset Preparation Scripts: Focuses on memory optimization and field filtering for analysis, whereas Dataset Preparation Scripts focus on downloading and organizing public datasets.
Explore 1 awesome GitHub repository matching data & databases · Analysis Dataset Optimization. Refine with filters or upvote what's useful.
Awesome Analysis Dataset Optimization GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- turboway/bigdata_analyse
TurboWay/bigdata_analyse
5,238عرض على GitHubهذا المشروع عبارة عن مجموعة من أطر عمل وخطوط أنابيب البيانات الضخمة، بما في ذلك إطار عمل تحليل Apache Hive، ومنصة تحليلات سلوكية، ومحرك تحليلات تنبؤية، وخطوط أنابيب بيانات في الوقت الفعلي. يوفر البنية التحتية لبناء سير عمل الاستخراج والتحويل والتحميل (ETL) لمعالجة مجموعات البيانات الكبيرة للتخزين الموزع والتحليل القائم على SQL. يدعم النظام تطبيقات تحليلية متنوعة، مثل محرك تنبؤي يستخدم الانحدار الخطي لتوقع القيم، وبنية في الوقت الفعلي تنقل البيانات عبر وسطاء الرسائل للتقارير الفورية. يتضمن قدرات متخصصة لتحليلات سلوك المستخدم، وقياس أداء التجارة الإلكترونية، وتحليل بيانات النقل الحضري. يغطي الكود المصدري نطاقاً واسعاً من هندسة وتحليل البيانات، بما في ذلك تنظيف البيانات وتحويلها، واستيعاب البيانات الموزع، ومعالجة التدفق القائم على النوافذ، وتصور النتائج من خلال أدوات ذكاء الأعمال. كما يتيح حساب مقاييس أعمال محددة مثل معدلات التحويل، وأداء تحقيق الدخل، ومستويات تفاعل المستخدم.
Includes processes to merge data files and filter fields to optimize memory usage before loading into databases.
Pythonhqlpythonsql
