Awesome GitHub RepositoriesVisual Data Exploration

A/B Street is an open-source traffic simulation and urban planning tool that models how cars, bikes, and pedestrians move through real-world street networks. It imports data from OpenStreetMap to build detailed, lane-level road models, then runs discrete-event simulations to analyze travel times, delays, and congestion patterns across different infrastructure scenarios. The project provides an interactive map editor for modifying road geometry, lane configurations, traffic signals, and access restrictions, with full undo/redo support. Users can design low-traffic neighborhoods by placing moda

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

هذا المشروع عبارة عن منهج تعليمي للتعلم الآلي ومنصة تعليمية يتم تقديمها من خلال دفاتر Jupyter التفاعلية. يعمل كدليل شامل لإتقان مجموعة أدوات علوم البيانات في Python، ويوفر دروساً منظمة للحوسبة العددية، ومعالجة البيانات الجدولية، والتصور الإحصائي. يتضمن المنهج أدلة تنفيذ محددة لـ Scikit-Learn ودورة عملية حول TensorFlow لبناء وتدريب ونشر الشبكات العصبية ونماذج رؤية الحاسب. ويغطي العملية الشاملة لبناء النماذج التنبؤية، من صياغة المشكلة الأولية وتصنيف المهام إلى نشر النماذج عبر واجهات الويب التفاعلية. يغطي المشروع سطح إمكانات واسع بما في ذلك الحوسبة العددية مع المصفوفات متعددة الأبعاد، وتحليل البيانات الاستكشافي، وروتينات معالجة البيانات مسبقاً. ويوفر سير عمل مفصلاً للتعلم الخاضع للإشراف وغير الخاضع للإشراف، وخطوط أنابيب التعلم الآلي المؤتمتة، وتحسين المعلمات الفائقة، وتقييم النموذج باستخدام مقاييس التصنيف والتحقق المتبادل. يتم تنظيم المحتوى التعليمي كسلسلة من الدفاتر التي تتداخل فيها أكواد Python مع التفسيرات السردية لتوثيق سير عمل علوم البيانات.

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

هذا المشروع عبارة عن مورد تعليمي شامل ودليل تقني يركز على تعلم الآلة القابل للتفسير والذكاء الاصطناعي القابل للشرح. يعمل ككتاب مدرسي ومرجع لتنفيذ التقنيات التي تجعل نماذج تعلم الآلة المعقدة شفافة ومفهومة للبشر. يوفر المورد إرشادات حول بناء نماذج شفافة بطبيعتها، مثل أشجار القرار والنماذج الخطية المتفرقة، وتطبيق طرق الشرح اللاحقة على أنظمة الصندوق الأسود. يفصل المنهجيات المحددة لقياس أهمية الميزة، وتوليد مبررات للتنبؤات الفردية، واستخدام نماذج بديلة لتقريب عمليات صنع القرار المعقدة. يغطي المحتوى مجموعة واسعة من القدرات التحليلية، بما في ذلك تحليل تأثير الميزة العالمية والمحلية، وقابلية تفسير رؤية الكمبيوتر، واستخدام المساهمات القائمة على نظرية الألعاب مثل قيم Shapley. كما يتناول تقييم النموذج من خلال تقييمات القابلية للتفسير، وسير عمل تصحيح الأخطاء لتحديد اختصارات النموذج، وتصميم هياكل الخوارزميات الشفافة. يتم تنفيذ المشروع كمجموعة من دفاتر Jupyter.

Epoch هو محرك رسوم بيانية ومكتبة تصور قابلة للتنسيق بـ CSS مصممة للبيانات في الوقت الفعلي والبيانات الإحصائية. يعمل كأداة رسوم بيانية للسلاسل الزمنية تعرض البيانات التاريخية والحية باستخدام مزيج من رسومات SVG وHTML5 Canvas للحفاظ على الأداء أثناء التحديثات المتكررة. تتميز المكتبة من خلال نظام استعلام CSS موحد يطبق الأنماط على كل من عناصر الرسم المتجهية والنقطية. يسمح هذا بحل السمة المرئية عبر فئات CSS والقدرة على تخصيص مظهر سلاسل بيانات محددة باستخدام أوراق الأنماط. تغطي مجموعة الأدوات مجموعة واسعة من أنواع التصور، بما في ذلك الرسوم البيانية الخطية، والمساحية، والشريطية، والخرائط الحرارية لتحليل الاتجاهات، بالإضافة إلى المقاييس، والرسوم البيانية الدائرية، والأشرطة المجمعة للوحات المعلومات. كما توفر قدرات للاستكشاف الإحصائي من خلال المخططات المبعثرة والرسوم البيانية التي تستخدم تجميع الدلاء المنفصل ومزج الألوان لإظهار تركيز البيانات.

Visual Insights is an automated exploratory data analysis platform and causal inference tool designed to discover patterns and cause-and-effect relationships within datasets. It functions as an interactive data visualization library using a grammar-of-graphics approach to generate multi-dimensional charts and dashboards. The project distinguishes itself through a natural language interface that translates plain-text questions into data answers and visualizations via a language model. It provides a specialized framework for causal discovery and inference, allowing users to identify variable li

Positron is a data science integrated development environment and AI-powered code editor designed for polyglot development, specifically supporting Python and R. It functions as a remote compute workspace that separates the user interface from the execution kernel via SSH or container integration. The environment features a deep integration of large language models that provide context-aware suggestions and automated data analysis by accessing real-time interpreter state, in-memory objects, and plot outputs. It distinguishes itself through a polyglot runtime bridge that enables cross-language

MNE-Python is an open-source Python library for processing, visualizing, and analyzing human neurophysiological data, including MEG, EEG, sEEG, ECoG, and NIRS recordings. It provides a comprehensive framework for loading data from over 30 proprietary file formats into a common hierarchical FIF data structure, and represents all time-series data as NumPy arrays for seamless integration with the scientific Python ecosystem. The library is built around object-oriented data containers that encapsulate raw, epoched, evoked, and source data with built-in preprocessing and visualization methods. The