Awesome GitHub RepositoriesTabular Data Wrangling

VisiData is a terminal-based interactive data analysis tool and browser designed for exploring, filtering, and sorting large tabular datasets. It functions as a structured data inspector that loads and flattens complex formats like JSON, XML, and PCAP into interactive sheets, as well as a terminal file manager for navigating directories and performing staged filesystem operations. The project distinguishes itself by rendering data visualizations, such as scatter plots and histograms, directly in the terminal using Unicode Braille characters. It provides a Python-based data wrangling environme

r4ds هو منهج لعلوم البيانات ومورد تعليمي مصمم لإتقان لغة البرمجة R. يوفر مسار تعلم منظماً للعملية الشاملة لاستيراد البيانات، وتنظيمها، وتحويلها، وتصورها. يركز المشروع على دليل علوم البيانات القابل للتكرار ومنهج شامل لمعالجة البيانات. يتضمن دروساً تعليمية متخصصة حول قواعد الرسومات لتصور البيانات الطبقي والمنشورات التقنية التي تم إنشاؤها باستخدام Quarto والتي تمزج بين الكود القابل للتنفيذ والنثر السردي. تغطي المادة مجموعة واسعة من القدرات التحليلية، بما في ذلك استيعاب البيانات من مصادر متنوعة، وربط البيانات العلائقية، وإدارة المتغيرات الفئوية. كما تتناول تنظيف البيانات، والنمذجة الرياضية، وإنشاء تقارير وعروض تقديمية احترافية متعددة التنسيقات. يركز المنهج على التطبيق العملي للبرمجة الوظيفية ومبادئ البيانات المرتبة (Tidy data) لإنشاء تحليلات شفافة وقابلة للتكرار.

هذا المشروع هو إطار عمل لمعالجة البيانات الجدولية عالي الأداء لـ R، مصمم للتعامل مع مجموعات البيانات الضخمة بكفاءة في الذاكرة وسرعة. يوفر هيكل بيانات محسناً يستخدم دلالات المرجع والتعديل في المكان لإجراء تحويلات معقدة دون عبء نسخ الكائنات غير الضروري. تتميز المكتبة بتحسيناتها المعمارية منخفضة المستوى، بما في ذلك المعالجة المتوازية متعددة الخيوط، والفرز القائم على الجذر، وتحليل الملفات المعينة في الذاكرة. من خلال تفريغ إجراءات معالجة البيانات والتجميع الحرجة إلى كود C مجمع، فإنه يتيح التنفيذ السريع للمهام التي قد تكون مكلفة حسابياً. يدعم محركها الأساسي عمليات علائقية متقدمة، مثل الانضمامات غير المتساوية، والمتدحرجة، والمتداخلة، إلى جانب الفهرسة الثانوية التلقائية لتسريع الوصول المتكرر للبيانات. إلى جانب إمكانات المعالجة الأساسية، يقدم المشروع مجموعة شاملة من الأدوات لإدارة دورة حياة البيانات. يتضمن ذلك أدوات استيعاب وتسلسل عالية السرعة مع الكشف التلقائي عن النوع، بالإضافة إلى دعم متخصص لتحليل السلاسل الزمنية والتجميع متعدد الأبعاد. تم بناء إطار العمل ليتوسع، مما يسمح للمستخدمين بإجراء عمليات تجميع وتصفية وإعادة تشكيل معقدة على مجموعات بيانات تحتوي على مليارات الصفوف مع الحفاظ على استقرار النظام وأدائه.

qsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for