Awesome GitHub RepositoriesVisual Data Exploration

A/B Street is an open-source traffic simulation and urban planning tool that models how cars, bikes, and pedestrians move through real-world street networks. It imports data from OpenStreetMap to build detailed, lane-level road models, then runs discrete-event simulations to analyze travel times, delays, and congestion patterns across different infrastructure scenarios. The project provides an interactive map editor for modifying road geometry, lane configurations, traffic signals, and access restrictions, with full undo/redo support. Users can design low-traffic neighborhoods by placing moda

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

Dieses Projekt ist ein Lehrplan für Machine Learning und eine Lernplattform, die über interaktive Jupyter Notebooks bereitgestellt wird. Es dient als umfassender Leitfaden zur Beherrschung des Python-Data-Science-Toolkits und bietet strukturierte Tutorials für numerisches Rechnen, Manipulation tabellarischer Daten und statistische Visualisierung. Der Lehrplan enthält spezifische Implementierungsleitfäden für Scikit-Learn und einen praktischen Kurs zu TensorFlow für den Aufbau, das Training und das Deployment neuronaler Netze und Computer-Vision-Modelle. Er deckt den End-to-End-Prozess des Aufbaus prädiktiver Modelle ab, von der anfänglichen Problemformulierung und Aufgabenkategorisierung bis hin zum Deployment der Modelle über interaktive Weboberflächen. Das Projekt deckt ein breites Funktionsspektrum ab, einschließlich numerischem Rechnen mit mehrdimensionalen Arrays, explorativer Datenanalyse und Datenvorverarbeitungsroutinen. Es bietet detaillierte Workflows für überwachtes und unüberwachtes Lernen, automatisierte Machine-Learning-Pipelines, Hyperparameter-Optimierung und Modellbewertung mittels Klassifizierungsmetriken und Kreuzvalidierung. Der Bildungsinhalt ist als eine Reihe von Notebooks strukturiert, die Python-Code mit narrativen Erklärungen verknüpfen, um Data-Science-Workflows zu dokumentieren.

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

Dieses Projekt ist eine umfassende Bildungsressource und ein technisches Handbuch, das sich auf interpretierbares Machine Learning und erklärbare KI konzentriert. Es dient als Lehrbuch und Referenz für die Implementierung von Techniken, die komplexe Machine-Learning-Modelle für Menschen transparent und verständlich machen. Die Ressource bietet Anleitungen sowohl zum Aufbau inhärent transparenter Modelle, wie Entscheidungsbäumen und dünnbesetzten linearen Modellen, als auch zur Anwendung von Post-hoc-Erklärungsmethoden auf Black-Box-Systeme. Sie beschreibt spezifische Methoden zur Quantifizierung der Merkmalswichtigkeit, zur Generierung von Begründungen für individuelle Vorhersagen und zur Verwendung von Surrogat-Modellen zur Approximation komplexer Entscheidungsprozesse. Der Inhalt deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Analyse des globalen und lokalen Merkmalseinflusses, der Interpretierbarkeit von Computer Vision und der Verwendung spieltheoretischer Beiträge wie Shapley-Werten. Er befasst sich zudem mit der Modellevaluierung durch Interpretierbarkeitsbewertungen, Debugging-Workflows zur Identifizierung von Modell-Shortcuts und dem Design transparenter Algorithmusstrukturen. Das Projekt ist als Sammlung von Jupyter Notebooks implementiert.

Epoch ist eine CSS-stylbare Charting-Engine und Visualisierungsbibliothek, die für Echtzeit- und statistische Daten entwickelt wurde. Sie fungiert als Zeitreihen-Charting-Tool, das historische und Live-Daten unter Verwendung einer Hybrid-Lösung aus SVG- und HTML5-Canvas-Grafiken rendert, um die Performance bei häufigen Aktualisierungen aufrechtzuerhalten. Die Bibliothek zeichnet sich durch ein einheitliches CSS-Abfragesystem aus, das Stile sowohl auf Vektor- als auch auf Raster-Plot-Elemente anwendet. Dies ermöglicht die visuelle Themenauflösung über CSS-Klassen und die Möglichkeit, das Erscheinungsbild spezifischer Datenserien mithilfe von Stylesheets anzupassen. Das Toolset deckt ein breites Spektrum an Visualisierungstypen ab, einschließlich Linien-, Flächen-, Balken- und Heatmap-Charts für Trendanalysen sowie Tachos, Tortendiagramme und gruppierte Balken für Dashboards. Zudem bietet es Funktionen für statistische Exploration durch Scatter-Plots und Histogramme, die diskrete Bucket-Gruppierung und Farbmischung verwenden, um Datenkonzentrationen darzustellen.

Visual Insights ist eine Plattform für automatisierte explorative Datenanalyse und ein Tool für kausale Inferenz, das entwickelt wurde, um Muster sowie Ursache-Wirkungs-Zusammenhänge in Datensätzen zu entdecken. Es fungiert als interaktive Datenvisualisierungsbibliothek, die einen Grammar-of-Graphics-Ansatz verwendet, um mehrdimensionale Diagramme und Dashboards zu generieren. Das Projekt zeichnet sich durch eine natürlichsprachliche Schnittstelle aus, die Fragen in Klartext mithilfe eines Sprachmodells in Datenantworten und Visualisierungen übersetzt. Es bietet ein spezialisiertes Framework für kausale Entdeckung und Inferenz, das es Benutzern ermöglicht, Variablenverknüpfungen durch interaktive Kausaldiagramme zu identifizieren und What-if-Analysen zur Validierung von Hypothesen durchzuführen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter visuelle Datenbereinigung, statistische Profilerstellung und automatisierte Datensatztransformation. Sie unterstützt die Integration verschiedener Daten aus lokalen Dateien und Remote-Datenbanken und verfügt über eine leistungsstarke Verarbeitungs-Engine für die lokale Handhabung großer Datensätze. Zusätzlich ermöglicht das System die Einbettung interaktiver Analysekomponenten in Webanwendungen und Notebooks.

Positron is a data science integrated development environment and AI-powered code editor designed for polyglot development, specifically supporting Python and R. It functions as a remote compute workspace that separates the user interface from the execution kernel via SSH or container integration. The environment features a deep integration of large language models that provide context-aware suggestions and automated data analysis by accessing real-time interpreter state, in-memory objects, and plot outputs. It distinguishes itself through a polyglot runtime bridge that enables cross-language

MNE-Python is an open-source Python library for processing, visualizing, and analyzing human neurophysiological data, including MEG, EEG, sEEG, ECoG, and NIRS recordings. It provides a comprehensive framework for loading data from over 30 proprietary file formats into a common hierarchical FIF data structure, and represents all time-series data as NumPy arrays for seamless integration with the scientific Python ecosystem. The library is built around object-oriented data containers that encapsulate raw, epoched, evoked, and source data with built-in preprocessing and visualization methods. The