Awesome GitHub RepositoriesVisual Data Explorers

Nebula is a distributed graph database designed for storing and querying massive volumes of interconnected vertices and edges across a horizontally scalable cluster. It functions as a Kubernetes-native database and a distributed graph analytics engine, utilizing a Raft-based distributed store to ensure strong consistency and high availability. The system features an OpenCypher query engine for performing complex graph traversals and pattern matching. It distinguishes itself with a decoupled compute-storage architecture and a shared-nothing distributed design, allowing query processing and dat

FiftyOne ist ein visuelles Tool zum Kuratieren, Analysieren und Verwalten von Bild- und Videodatensätzen für das Training von Machine-Learning-Modellen. Es dient als Plattform zur Identifizierung von Annotationsfehlern, zur Verfeinerung von Ground-Truth-Labels und zur Evaluierung der Performance von Vision-Modellen durch den Vergleich von Vorhersagen mit Ground-Truth, um Fehlermodi zu identifizieren. Das System fungiert als containerisierte Datenplattform, die die Team-Kollaboration an großskaligen visuellen Datensätzen in einer Cloud-Umgebung unterstützt. Es enthält spezialisierte Funktionen zur Erkundung hochdimensionaler Embeddings, um Datencluster zu entdecken und entsprechende visuelle Samples abzurufen. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich 2D- und 3D-Datenannotation, Validierung der Datensatzqualität und visueller Datenexploration. Sie lässt sich in Deep-Learning-Frameworks integrieren, um Daten von der Kuratierung zum Modelltraining zu überführen, und nutzt einen dokumentenbasierten Metadatenspeicher zur Verwaltung von Datensatzstrukturen.

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

A/B Street is an open-source traffic simulation and urban planning tool that models how cars, bikes, and pedestrians move through real-world street networks. It imports data from OpenStreetMap to build detailed, lane-level road models, then runs discrete-event simulations to analyze travel times, delays, and congestion patterns across different infrastructure scenarios. The project provides an interactive map editor for modifying road geometry, lane configurations, traffic signals, and access restrictions, with full undo/redo support. Users can design low-traffic neighborhoods by placing moda

vis is a JavaScript data visualization library used to render interactive networks, timelines, and graphs directly in the web browser. It functions as a relational data mapper and browser-based charting tool, turning complex structured data into dynamic visual patterns to expose entity relationships. The library provides specialized tools for force-directed network graphs, where relational data is represented as interactive nodes and edges. It also includes an interactive timeline component for plotting chronological events and time intervals on a scalable temporal axis. The project covers b

Facets is a set of interactive software tools for the statistical analysis, distribution visualization, and multidimensional exploration of machine learning datasets. It provides a visual interface for identifying outliers and missing values in numeric and string data, specifically designed for auditing dataset quality and identifying skews between training and validation sets. The system uses multidimensional facet-based visualization and interactive bucketing to map individual data points across multiple feature axes. It employs synchronized view filtering and animated dimension transitions

GrowthBook is a feature flagging and experimentation platform that utilizes a warehouse-native approach to data analysis. It serves as a system for managing feature rollouts and conducting A/B tests by executing SQL queries directly against existing data warehouses to calculate experiment results. The platform is distinguished by its integration of a Model Context Protocol server, which allows AI coding assistants and IDEs to manage flags and query analytics using natural language. It also provides specialized capabilities for AI model optimization, enabling the testing of prompts and models

SandDance is a hardware-accelerated visualization library and web-based data explorer designed for the interactive analysis of large, non-aggregated datasets. It functions as an interactive data visualization tool that renders complex datasets and intricate visuals within a browser. The project provides an embeddable data canvas consisting of web components and tags, allowing for the integration of full visualization interfaces and interactive charts into external web applications. It utilizes WebGL hardware acceleration to efficiently render large volumes of data as interactive graphics. Th

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

Gephi is an open-source desktop application for visualizing and analyzing large-scale network graphs. It provides an interactive platform for exploring complex relational data, combining hardware-accelerated rendering with real-time layout controls and a plugin-based modular architecture. The platform distinguishes itself through its ability to handle networks of up to 100,000 nodes and 1,000,000 edges using a custom OpenGL rendering engine, enabling smooth real-time interaction. It includes a force-directed layout engine with real-time adjustment, a dynamic filter pipeline for selecting node

Fast n-dimensional filtering and grouping of records.

Aim is an open-source platform for logging, visualizing, and comparing machine learning training runs and LLM traces. It provides a remote tracking server and a comparison UI, functioning as an ML experiment tracker, AI workflow logger, and LLM trace recorder that captures prompts, generations, and tool calls from AI applications. The platform distinguishes itself through a run-based data model with local SQLite storage, real-time metric streaming, and a plugin-based explorer system that supports specialized visual analysis of metrics, images, audio, and text. It offers a Python SDK with cont

Dieses Projekt ist ein Lehrplan für Machine Learning und eine Lernplattform, die über interaktive Jupyter Notebooks bereitgestellt wird. Es dient als umfassender Leitfaden zur Beherrschung des Python-Data-Science-Toolkits und bietet strukturierte Tutorials für numerisches Rechnen, Manipulation tabellarischer Daten und statistische Visualisierung. Der Lehrplan enthält spezifische Implementierungsleitfäden für Scikit-Learn und einen praktischen Kurs zu TensorFlow für den Aufbau, das Training und das Deployment neuronaler Netze und Computer-Vision-Modelle. Er deckt den End-to-End-Prozess des Aufbaus prädiktiver Modelle ab, von der anfänglichen Problemformulierung und Aufgabenkategorisierung bis hin zum Deployment der Modelle über interaktive Weboberflächen. Das Projekt deckt ein breites Funktionsspektrum ab, einschließlich numerischem Rechnen mit mehrdimensionalen Arrays, explorativer Datenanalyse und Datenvorverarbeitungsroutinen. Es bietet detaillierte Workflows für überwachtes und unüberwachtes Lernen, automatisierte Machine-Learning-Pipelines, Hyperparameter-Optimierung und Modellbewertung mittels Klassifizierungsmetriken und Kreuzvalidierung. Der Bildungsinhalt ist als eine Reihe von Notebooks strukturiert, die Python-Code mit narrativen Erklärungen verknüpfen, um Data-Science-Workflows zu dokumentieren.

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

Live-Charts ist eine .NET-Datenvisualisierungsbibliothek, die eine Sammlung interaktiver Diagramme, Karten und Messgeräte bereitstellt. Sie fungiert als Echtzeit-Charting-Engine und Multi-Format-Grafikbibliothek, die darauf ausgelegt ist, komplexe Datensätze innerhalb von .NET-Anwendungen zu rendern. Die Bibliothek bietet Tools zur Erstellung interaktiver Daten-Dashboards, die in der Lage sind, große Datensätze zu explorieren. Dies wird durch ein System zum Zoomen, Schwenken und Nutzen mehrerer Koordinatenachsen unterstützt, um durch Hunderttausende von Datenpunkten zu navigieren. Die Visualisierungs-Engine unterstützt eine Vielzahl von Formaten, einschließlich Balken-, Linien-, Heatmaps und geografischen Karten. Sie enthält Funktionen für die Echtzeit-Datenüberwachung und die Entwicklung von Desktop-Dashboards zur Verfolgung von Live-Metriken und Trends.

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

Dieses Projekt ist eine umfassende Bildungsressource und ein technisches Handbuch, das sich auf interpretierbares Machine Learning und erklärbare KI konzentriert. Es dient als Lehrbuch und Referenz für die Implementierung von Techniken, die komplexe Machine-Learning-Modelle für Menschen transparent und verständlich machen. Die Ressource bietet Anleitungen sowohl zum Aufbau inhärent transparenter Modelle, wie Entscheidungsbäumen und dünnbesetzten linearen Modellen, als auch zur Anwendung von Post-hoc-Erklärungsmethoden auf Black-Box-Systeme. Sie beschreibt spezifische Methoden zur Quantifizierung der Merkmalswichtigkeit, zur Generierung von Begründungen für individuelle Vorhersagen und zur Verwendung von Surrogat-Modellen zur Approximation komplexer Entscheidungsprozesse. Der Inhalt deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Analyse des globalen und lokalen Merkmalseinflusses, der Interpretierbarkeit von Computer Vision und der Verwendung spieltheoretischer Beiträge wie Shapley-Werten. Er befasst sich zudem mit der Modellevaluierung durch Interpretierbarkeitsbewertungen, Debugging-Workflows zur Identifizierung von Modell-Shortcuts und dem Design transparenter Algorithmusstrukturen. Das Projekt ist als Sammlung von Jupyter Notebooks implementiert.

dtale is a web-based interactive grid and visualizer for pandas dataframes, designed as an exploratory data analysis tool. It provides a browser-based interface for analyzing tabular data structures, allowing users to calculate statistics, detect outliers, and compute correlations without writing manual code. The project functions as an embedded data viewer that can be integrated into web applications via iframes or custom routes, with specific support for Django, Flask, and Streamlit. It enables the exploration of datasets through a combination of an interactive data grid and a data visualiz

Epoch ist eine CSS-stylbare Charting-Engine und Visualisierungsbibliothek, die für Echtzeit- und statistische Daten entwickelt wurde. Sie fungiert als Zeitreihen-Charting-Tool, das historische und Live-Daten unter Verwendung einer Hybrid-Lösung aus SVG- und HTML5-Canvas-Grafiken rendert, um die Performance bei häufigen Aktualisierungen aufrechtzuerhalten. Die Bibliothek zeichnet sich durch ein einheitliches CSS-Abfragesystem aus, das Stile sowohl auf Vektor- als auch auf Raster-Plot-Elemente anwendet. Dies ermöglicht die visuelle Themenauflösung über CSS-Klassen und die Möglichkeit, das Erscheinungsbild spezifischer Datenserien mithilfe von Stylesheets anzupassen. Das Toolset deckt ein breites Spektrum an Visualisierungstypen ab, einschließlich Linien-, Flächen-, Balken- und Heatmap-Charts für Trendanalysen sowie Tachos, Tortendiagramme und gruppierte Balken für Dashboards. Zudem bietet es Funktionen für statistische Exploration durch Scatter-Plots und Histogramme, die diskrete Bucket-Gruppierung und Farbmischung verwenden, um Datenkonzentrationen darzustellen.

Embedding Atlas ist ein webbasiertes Interface zur Darstellung hochdimensionaler Vektor-Embeddings und zur Analyse komplexer Datensätze durch interaktives visuelles Clustering. Es fungiert als Analysetool für hochdimensionale Daten, um Trends und Dichtemuster zu entdecken, und dient als Vektor-Ähnlichkeits-Explorer, um Nächste-Nachbarn-Datenpunkte innerhalb umfangreicher Embedding-Datensätze zu lokalisieren. Das Projekt bietet ein synchronisiertes, multimodales Daten-Dashboard, das tabellarische Daten mit Bildern, Audio und Text verknüpft. Es nutzt hardwarebeschleunigtes Rendering, um Millionen von Embedding-Punkten anzuzeigen, und verwendet hochdimensionale Projektions-Mappings, um globale Datenstrukturen und Cluster aufzudecken. Das Toolkit deckt ein breites Spektrum an Analysefunktionen ab, darunter Echtzeit-Ähnlichkeitssuche, räumliche Indizierung für Nächste-Nachbarn und Cross-Filtering-Zustandssynchronisierung über verknüpfte Dashboards hinweg. Es enthält zudem Interfaces für automatisierte Datenexploration, die es Controllern ermöglichen, Abfragen auszuführen und visuelle Diagramme programmatisch zu aktualisieren.