Awesome GitHub RepositoriesData Catalogs

DataHub is a metadata management system and data catalog platform designed to provide a centralized directory for discovering, managing, and documenting datasets across a diverse data stack. It serves as a comprehensive framework for metadata management, incorporating a data governance framework to classify sensitive information and assign ownership for organizational accountability. The platform distinguishes itself through AI-enabled data discovery, which connects large language models to a metadata graph to allow for natural language search and exploration of data assets. It also provides

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Boto3 is the AWS SDK for Python, providing a programmatic interface for managing and automating AWS cloud infrastructure and services. It serves as a cloud management API client and resource manager for provisioning, configuring, and scaling virtual servers, databases, and storage. The library enables the implementation of infrastructure-as-code through declarative templates and scripts, allowing for the deployment of identical resource stacks across multiple accounts and geographic regions. It also provides a framework for coordinating distributed workflows, serverless functions, and contain

This project is a digital book directory and academic literature library. It serves as a curated collection of multidisciplinary texts and research materials organized by subject and publication year. The system uses a subject-based content catalog to arrange electronic books into specific domains. It employs visual markers and symbol-based encoding to distinguish between free and paid content. The directory provides capabilities for technical literature discovery and academic reading list management. Users can browse materials by subject and filter titles by recency using publication dates.

Enso is a visual dataflow programming environment and multi-language data processing engine that compiles Enso, Python, Java, and JavaScript into a unified representation with a shared memory model for zero-overhead inter-language calls. It functions as a self-service data preparation and analysis platform where users can build data pipelines by connecting nodes in a graph, switching between a no-code visual interface and a code view while keeping all changes reviewable. The platform also serves as a cloud data workflow scheduler and API exposer, allowing workflows to run on a timetable or be

Harlequin is a terminal-based SQL IDE that runs queries against DuckDB and SQLite databases, with a plug-in adapter system for connecting to additional database engines. It provides a full-screen text editor with syntax highlighting and fuzzy autocomplete for writing SQL, and displays query results in a scrollable table within the terminal. The application distinguishes itself through a tree-based data catalog that lets you browse database schemas, local files, and remote S3 objects, with the ability to insert or copy paths directly into the query editor. It supports custom key bindings throu

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

pgai ist ein PostgreSQL-KI-Toolkit und -Framework, das darauf ausgelegt ist, Large Language Models und Vektor-Embeddings direkt in eine Datenbank zu integrieren. Es dient als Brücke für die Ausführung von Anfragen an Machine-Learning-Modelle und die Durchführung von Text-zu-SQL-Übersetzungen innerhalb von Standard-Datenbankabfragen. Das Projekt bietet eine automatisierte Pipeline für Vektor-Embeddings, die das Laden, Parsen und Chunking von Text aus Tabellen und unstrukturierten Dokumenten übernimmt. Dieses System nutzt einen Hintergrund-Worker, um Embeddings automatisch zu synchronisieren, wenn sich Quelldaten ändern, und enthält spezialisierte Tools für den Aufbau von RAG-Anwendungen (Retrieval-Augmented Generation) und semantischen Suchmaschinen. Das Toolkit deckt breite Funktionsbereiche ab, darunter die Verarbeitung unstrukturierter Daten mittels OCR, die Erstellung semantischer Kataloge zur Abbildung von Datenbankschemata auf natürliche Sprache sowie die Implementierung von Hochleistungs-Ähnlichkeitssuchen durch Vektorindizierung und Result-Reranking. Zudem ermöglicht es Datenanreicherung, Klassifizierung und Content-Moderation durch den Aufruf externer Modelle via SQL.

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

lakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

CKAN is an open-source data management platform that provides the foundation for building data portals. It supports the full lifecycle of datasets—from creation and organization to publishing, cataloging with faceted search, and interactive data visualization—all through a web interface. The platform is built on a modular architecture that includes a plugin-based extensibility system, a harvesting framework for importing metadata from external sources, and a standardized RESTful JSON API for programmatic access to datasets and metadata. The web interface is rendered using the Jinja2 templatin

North ist eine Methodik für responsives Webdesign und eine Sass-basierte CSS-Architektur. Es bietet ein System für den Aufbau von Mobile-First-Benutzeroberflächen unter Verwendung von fluiden Grids und Progressive-Enhancement-Techniken, um eine konsistente Erfahrung über verschiedene Browser-Fähigkeiten und Bildschirmgrößen hinweg zu gewährleisten. Das Projekt bietet ein standardisiertes CSS-Namenssystem, das Sass-Mixins verwendet, um Klassennamen programmatisch zu generieren und zwischen Komponenten, Layouts und Zuständen zu unterscheiden. Es fungiert zudem als Frontend-Projekt-Scaffolding-Tool und bietet einen Generator, um neue Umgebungen mit vorkonfigurierten Stylesheets und Task-Runnern aufzusetzen. Über das Styling hinaus deckt das Framework ein breites Spektrum an Webentwicklungsstandards ab, einschließlich semantischer HTML-Implementierung mit RDFa-Metadaten und Auditing für Web-Barrierefreiheit. Es integriert eine Content-First-Designstrategie und einen agilen Frontend-Workflow, um den Übergang von Informationsarchitektur und User Personas zu produktionsreifen Komponenten zu koordinieren. Das System enthält Tools zur Automatisierung der CSS-Benennung und zum Scaffolding von Projekt-Templates, um das initiale Setup zu beschleunigen.

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

Amundsen is a data catalog and discovery platform that provides a centralized directory for indexing tables and dashboards. It functions as a metadata management system and search engine, allowing users to locate and understand available data assets across diverse distributed sources. The platform includes capabilities for data lineage tracking to map the origin and movement of datasets between systems. It also serves as a data profiling tool, calculating distribution and quality statistics for individual table columns to provide automated insights into the nature of the data. The system man

Dieses Projekt ist ein Fitness-Aktivitäts-Dashboard und eine Datenpipeline, die Laufstatistiken und Routen von externen Sportplattformen in einer persönlichen visuellen Zusammenfassung aggregiert. Es enthält ein Fitness-Daten-Migrationstool für die Konsolidierung von Datensätzen zwischen verschiedenen Sportdiensten und lokalem Speicher, sowie einen Daten-Importer für die Verarbeitung von GPX-, TCX- und FIT-Dateien. Das System bietet eine automatisierte Aktivitäts-Sync-Pipeline, die regelmäßig Fitnessdaten abruft und ein statisches Dashboard auf einer Hosting-Plattform neu bereitstellt. Es bietet zudem ein Tastatur-gesteuertes Terminal-UI für das Filtern und Anzeigen von Laufstatistiken und Aktivitätslisten lokal. Die Plattform deckt mehrere Funktionsbereiche ab, einschließlich Aktivitätsdatenvisualisierung durch SVG-Charts und interaktive Karten, Fitness-Datenarchivierung und -migration sowie automatisierte Synchronisierung, die durch Workflows oder mobile Shortcuts ausgelöst wird. Das Web-Interface ist mittels statischer Seitengenerierung mit Client-seitigem Routing und Sicherheits-Headern zur Verwaltung des Datenverkehrs aufgebaut.

Rudder Server ist eine Customer Data Platform (CDP) und Event-Routing-Pipeline, die darauf ausgelegt ist, Kundendaten zu sammeln, zu transformieren und von verschiedenen Quellen an Data Warehouses und Business-Tools weiterzuleiten. Es fungiert als Customer-Identity-Resolver, der Identifikatoren aus mehreren Quellen verknüpft, um einen einheitlichen Identitätsgraphen und umfassende verhaltensbasierte Kundenprofile zu erstellen. Das System zeichnet sich durch Reverse-ETL-Funktionen aus, die verarbeitete Kundensegmente und Zielgruppen aus Data Warehouses zurück in operative Drittanbieteranwendungen pushen. Es bietet zudem eine containerisierte Datenebene für Kubernetes-Deployments, was die Verwaltung der Dateninfrastruktur als Code ermöglicht. Die Plattform deckt eine breite Palette von Datenmanagement-Funktionen ab, einschließlich Echtzeit-Event-Transformation, Schema-Validierung via Datenkatalogen und Privacy-Governance. Dazu gehören Tools zur Verwaltung der Benutzereinwilligung, zur Durchsetzung der Datenresidenz innerhalb spezifischer geografischer Regionen und zur Maskierung personenbezogener Daten während der Übertragung. Installation und Deployment der Datenebenen-Komponenten werden mittels Helm-Charts verwaltet.

Dieses Projekt ist ein Analysetool für die pharmazeutische Lieferkette und öffentliche Gesundheitsdaten, das darauf ausgelegt ist, die historische Verteilung und Qualität medizinischer Produkte über regionale Zuständigkeitsbereiche hinweg zu verfolgen. Es fungiert als Überwachungstool für die Impfstoffverteilung und analysiert Liefermuster sowie Qualitätsabweichungen im Zeitverlauf. Das System konvertiert pharmazeutische Verkaufsaufzeichnungen in regionale Heatmaps und räumliche Dichtekarten, um die geografische Konzentration der Produktverteilung zu visualisieren. Es enthält ein Zeitreihen-Analysetool, um die historische Produktbewegung zu verfolgen und Trends bei regionalem Angebot und Nachfrage zu identifizieren. Die Software verarbeitet Daten durch provinzielle Aggregation und Partitionierung und organisiert Transaktionsaufzeichnungen in relationalen Modellen, um Lieferanten und Produkte mit spezifischen regionalen Standorten zu verknüpfen. Sie transformiert rohe Verkaufskoordinaten in Dichtedaten, die mit räumlichen Visualisierungs-Mapping-Tools kompatibel sind.

Dieses Projekt ist eine AWS-Pandas-Integrationsbibliothek und ein Daten-Pipeline-Framework, das entwickelt wurde, um die Bewegung und Transformation von Daten zwischen lokalem Speicher und AWS-Speicher- und Analysediensten zu vereinfachen. Es fungiert als Cloud-Data-Lake-Toolkit und Storage-File-Manager, der es Nutzern ermöglicht, strukturierte Daten über verschiedene Cloud-Umgebungen hinweg zu lesen, zu schreiben und zu transformieren. Die Bibliothek zeichnet sich als verteilter Compute-Orchestrator aus, der Cluster in Umgebungen wie EMR verwalten kann, um Datensätze zu verarbeiten, die die Speichergrenzen einer einzelnen Maschine überschreiten. Sie bietet zudem spezialisierte Funktionen zur Verwaltung von Vektor-Indizes und zur Durchführung von Ähnlichkeitssuchen innerhalb von Cloud-Storage-Buckets. Die breiteren Funktionen umfassen Cloud-Datenbank-ETL für Dienste wie DynamoDB, RDS und Timestream sowie Cloud-Data-Catalog-Management via AWS Glue. Sie unterstützt serverlose Datenanalyse durch Athena und Redshift und bietet Utilities zur Verwaltung von S3-Objekten, zur Indexierung von Dokumenten in OpenSearch und zur Analyse von CloudWatch-Logs.