3 مستودعات
Awesome GitHub RepositoriesIn-Memory Data Processors
High-performance engines for aggregating and rearranging datasets stored in system memory.
Distinct from In-Memory Data Stores: Distinct from In-Memory Data Stores, which focuses on storage and retrieval, whereas this focuses on the processing and transformation of the data.
Explore 3 awesome GitHub repositories matching data & databases · In-Memory Data Processors. Refine with filters or upvote what's useful.
Awesome In-Memory Data Processors GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- tidyverse/dplyr
tidyverse/dplyr
5,034عرض على GitHubdplyr هي مكتبة لمعالجة البيانات في لغة R توفر قواعد لتحويل إطارات البيانات الجدولية. تعمل كمعالج لإطارات البيانات الموجودة في الذاكرة وأداة لجبر البيانات العلائقية، باستخدام مجموعة متسقة من الأفعال لتصفية البيانات واختيارها وتلخيصها. يتضمن المشروع محرك ترجمة SQL يقوم بتحويل تعبيرات معالجة البيانات عالية المستوى إلى استعلامات محسنة. يتيح ذلك للمستخدمين إجراء التحويلات مباشرة على قواعد البيانات العلائقية البعيدة والتخزين السحابي دون الحاجة إلى جلب البيانات محلياً. تغطي المكتبة مجموعة واسعة من العمليات الجدولية، بما في ذلك تعديل الأعمدة، وتحديد مجموعات فرعية من الصفوف، وربط البيانات العلائقية. كما توفر إمكانيات لتحليل البيانات المجمعة، مما يسمح بتقسيم مجموعات البيانات لإجراء عمليات تجميع وملخصات مستقلة.
Implements a high-performance engine for aggregating and rearranging tabular datasets stored in system memory.
R - mbloch/mapshaper
mbloch/mapshaper
4,133عرض على GitHubMapshaper هي أداة لمعالجة وتبسيط وتحويل البيانات المتجهة الجغرافية، متاحة كواجهة سطر أوامر، وأداة متصفح ويب، ومكتبة Node.js. تعمل كمسقط للإحداثيات، ومحول للبيانات المتجهة، ومحسن لأصول خرائط الويب مصمم لتحويل مجموعات البيانات المكانية بين أنظمة مرجعية إحداثية وتنسيقات ملفات مختلفة. يتميز المشروع بتبسيط الهندسة مع الحفاظ على الطوبولوجيا، مما يقلل من عدد الرؤوس مع الحفاظ على الحدود المشتركة لمنع الفجوات والتداخلات. كما يعمل على تحسين الأصول للويب من خلال تكميم الإحداثيات وتصفية السمات لتقليل أحجام الملفات. يغطي النظام مجموعة واسعة من الإمكانيات، بما في ذلك إعادة إسقاط الإحداثيات باستخدام سلاسل PROJ ورموز EPSG، وتحويل البيانات عبر تنسيقات مثل Shapefile وGeoJSON وTopoJSON وGeoPackage وKML. ويوفر أدوات معالجة هندسية واسعة النطاق للتخزين المؤقت، والقص، والإذابة، وإصلاح الطوبولوجيا، بالإضافة إلى أدوات إدارة البيانات لربط السمات وتصفيتها وتحويلها. بالإضافة إلى ذلك، يتضمن ميزات تصور لتوليد صادرات SVG مصممة، وشبكات إحداثيات، وخرائط رموز متناسبة. يمكن دمج إمكانيات المعالجة المكانية مباشرة في تطبيقات JavaScript وخطوط أنابيب البناء عبر مكتبة Node.js الخاصة به.
Processes and transforms spatial datasets directly in system memory to avoid expensive disk I/O.
JavaScript - rdatatable/data.table
Rdatatable/data.table
3,894عرض على GitHubهذا المشروع هو إطار عمل لمعالجة البيانات الجدولية عالي الأداء لـ R، مصمم للتعامل مع مجموعات البيانات الضخمة بكفاءة في الذاكرة وسرعة. يوفر هيكل بيانات محسناً يستخدم دلالات المرجع والتعديل في المكان لإجراء تحويلات معقدة دون عبء نسخ الكائنات غير الضروري. تتميز المكتبة بتحسيناتها المعمارية منخفضة المستوى، بما في ذلك المعالجة المتوازية متعددة الخيوط، والفرز القائم على الجذر، وتحليل الملفات المعينة في الذاكرة. من خلال تفريغ إجراءات معالجة البيانات والتجميع الحرجة إلى كود C مجمع، فإنه يتيح التنفيذ السريع للمهام التي قد تكون مكلفة حسابياً. يدعم محركها الأساسي عمليات علائقية متقدمة، مثل الانضمامات غير المتساوية، والمتدحرجة، والمتداخلة، إلى جانب الفهرسة الثانوية التلقائية لتسريع الوصول المتكرر للبيانات. إلى جانب إمكانات المعالجة الأساسية، يقدم المشروع مجموعة شاملة من الأدوات لإدارة دورة حياة البيانات. يتضمن ذلك أدوات استيعاب وتسلسل عالية السرعة مع الكشف التلقائي عن النوع، بالإضافة إلى دعم متخصص لتحليل السلاسل الزمنية والتجميع متعدد الأبعاد. تم بناء إطار العمل ليتوسع، مما يسمح للمستخدمين بإجراء عمليات تجميع وتصفية وإعادة تشكيل معقدة على مجموعات بيانات تحتوي على مليارات الصفوف مع الحفاظ على استقرار النظام وأدائه.
Provides a high-speed in-memory engine for filtering, grouping, and reshaping large-scale datasets.
R
