Awesome GitHub RepositoriesData Catalogs

DataHub is a metadata management system and data catalog platform designed to provide a centralized directory for discovering, managing, and documenting datasets across a diverse data stack. It serves as a comprehensive framework for metadata management, incorporating a data governance framework to classify sensitive information and assign ownership for organizational accountability. The platform distinguishes itself through AI-enabled data discovery, which connects large language models to a metadata graph to allow for natural language search and exploration of data assets. It also provides

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Boto3 is the AWS SDK for Python, providing a programmatic interface for managing and automating AWS cloud infrastructure and services. It serves as a cloud management API client and resource manager for provisioning, configuring, and scaling virtual servers, databases, and storage. The library enables the implementation of infrastructure-as-code through declarative templates and scripts, allowing for the deployment of identical resource stacks across multiple accounts and geographic regions. It also provides a framework for coordinating distributed workflows, serverless functions, and contain

This project is a digital book directory and academic literature library. It serves as a curated collection of multidisciplinary texts and research materials organized by subject and publication year. The system uses a subject-based content catalog to arrange electronic books into specific domains. It employs visual markers and symbol-based encoding to distinguish between free and paid content. The directory provides capabilities for technical literature discovery and academic reading list management. Users can browse materials by subject and filter titles by recency using publication dates.

Enso is a visual dataflow programming environment and multi-language data processing engine that compiles Enso, Python, Java, and JavaScript into a unified representation with a shared memory model for zero-overhead inter-language calls. It functions as a self-service data preparation and analysis platform where users can build data pipelines by connecting nodes in a graph, switching between a no-code visual interface and a code view while keeping all changes reviewable. The platform also serves as a cloud data workflow scheduler and API exposer, allowing workflows to run on a timetable or be

Harlequin is a terminal-based SQL IDE that runs queries against DuckDB and SQLite databases, with a plug-in adapter system for connecting to additional database engines. It provides a full-screen text editor with syntax highlighting and fuzzy autocomplete for writing SQL, and displays query results in a scrollable table within the terminal. The application distinguishes itself through a tree-based data catalog that lets you browse database schemas, local files, and remote S3 objects, with the ability to insert or copy paths directly into the query editor. It supports custom key bindings throu

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

pgai est une boîte à outils et un framework d'IA pour PostgreSQL conçu pour intégrer des modèles de langage (LLM) et des embeddings vectoriels directement dans une base de données. Il sert de pont pour exécuter des requêtes de modèles de machine learning et effectuer des traductions texte-vers-SQL au sein de requêtes de base de données standard. Le projet fournit un pipeline automatisé d'embedding vectoriel qui gère le chargement, l'analyse et le découpage de texte provenant de tables et de documents non structurés. Ce système utilise un processus d'arrière-plan pour synchroniser automatiquement les embeddings à mesure que les données sources changent et inclut des outils spécialisés pour construire des applications de génération augmentée par récupération (RAG) et des moteurs de recherche sémantique. La boîte à outils couvre de vastes domaines de fonctionnalités, notamment le traitement de données non structurées avec OCR, la création de catalogues sémantiques pour mapper les schémas de base de données au langage naturel, et l'implémentation de recherches de similarité haute performance via l'indexation vectorielle et le reranking des résultats. Elle permet également l'enrichissement de données, la classification et la modération de contenu en appelant des modèles externes via SQL.

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

lakeFS est un système de versioning de data lake qui fournit des branches et des commits de type Git pour de grands jeux de données stockés dans un stockage objet. Il fonctionne comme une couche de contrôle de version, permettant la création d'instantanés immuables, de commits atomiques et de branches zero-copy pour créer des environnements isolés pour l'expérimentation de données sans dupliquer les fichiers physiques. Le système sert de passerelle de stockage compatible S3 et de catalogue REST Iceberg, permettant aux protocoles de stockage cloud standard et aux clients compatibles de gérer des tables versionnées. Il agit comme un gardien de la qualité des données en utilisant un système de hooks piloté par événements pour valider les jeux de données par rapport aux politiques de gouvernance avant que les changements ne soient fusionnés en production. La plateforme couvre de larges capacités pour la gouvernance des données, incluant la collaboration via pull requests, le contrôle d'accès basé sur les rôles et le suivi de la lignée des données (data lineage). Elle fournit une intégration pour l'orchestration de workflows, les pipelines de machine learning et divers moteurs de calcul big data, prenant en charge la connectivité de stockage multi-cloud et la synchronisation d'identité via SSO et SCIM. Le logiciel peut être installé en utilisant des binaires, des conteneurs ou des charts Helm pour un déploiement sur Kubernetes.

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

CKAN is an open-source data management platform that provides the foundation for building data portals. It supports the full lifecycle of datasets—from creation and organization to publishing, cataloging with faceted search, and interactive data visualization—all through a web interface. The platform is built on a modular architecture that includes a plugin-based extensibility system, a harvesting framework for importing metadata from external sources, and a standardized RESTful JSON API for programmatic access to datasets and metadata. The web interface is rendered using the Jinja2 templatin

North est une méthodologie de conception web responsive et un framework d'architecture CSS basé sur Sass. Il fournit un système pour construire des interfaces utilisateur mobile-first utilisant des grilles fluides et des techniques d'amélioration progressive pour assurer une expérience cohérente à travers différentes capacités de navigateur et tailles d'écran. Le projet dispose d'un système de nommage CSS standardisé qui utilise des mixins Sass pour générer par programmation des noms de classes, distinguant les composants, les mises en page et les états. Il fonctionne également comme un outil de scaffolding de projet frontend, fournissant un générateur pour amorcer de nouveaux environnements avec des feuilles de style et des task runners préconfigurés. Au-delà du style, le framework couvre une large surface des standards de développement web, y compris l'implémentation HTML sémantique avec des métadonnées RDFa et l'audit d'accessibilité web. Il intègre une stratégie de conception axée sur le contenu et un flux de travail frontend agile pour coordonner la transition de l'architecture de l'information et des personas d'utilisateurs vers des composants prêts pour la production. Le système inclut des outils pour automatiser le nommage CSS et le scaffolding de modèles de projet afin d'accélérer la configuration initiale.

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

Amundsen is a data catalog and discovery platform that provides a centralized directory for indexing tables and dashboards. It functions as a metadata management system and search engine, allowing users to locate and understand available data assets across diverse distributed sources. The platform includes capabilities for data lineage tracking to map the origin and movement of datasets between systems. It also serves as a data profiling tool, calculating distribution and quality statistics for individual table columns to provide automated insights into the nature of the data. The system man

Ce projet est un tableau de bord d'activité physique et un pipeline de données qui agrège les statistiques de course et les itinéraires depuis des plateformes sportives externes dans un résumé visuel personnel. Il inclut un outil de migration de données de fitness pour consolider les enregistrements entre différents services sportifs et le stockage local, ainsi qu'un importateur de données pour traiter les fichiers GPX, TCX et FIT. Le système dispose d'un pipeline de synchronisation d'activité automatisé qui récupère périodiquement les données de fitness et redéploie un tableau de bord statique vers une plateforme d'hébergement. Il fournit également une interface utilisateur terminale pilotée par clavier pour filtrer et visualiser les statistiques de course et les listes d'activités localement. La plateforme couvre plusieurs domaines de capacité, incluant la visualisation de données d'activité via des graphiques SVG et des cartes interactives, l'archivage et la migration de données de fitness, et la synchronisation automatisée déclenchée par des workflows ou des raccourcis mobiles. L'interface web est construite en utilisant la génération de site statique avec routage côté client et en-têtes de sécurité pour gérer le trafic.

Rudder Server est une plateforme de données client et un pipeline de routage d'événements conçu pour collecter, transformer et router les données d'événements client depuis diverses sources vers des entrepôts de données et des outils métier. Il fonctionne comme un résolveur d'identité client, liant les identifiants de multiples sources pour construire un graphe d'identité unifié et des profils client comportementaux complets. Le système se différencie par des capacités de reverse ETL, qui poussent les segments et audiences client traités depuis les entrepôts de données vers des applications tierces opérationnelles. Il fournit également un plan de données conteneurisé pour les déploiements Kubernetes, permettant la gestion de l'infrastructure de données en tant que code. La plateforme couvre un large éventail de capacités de gestion de données, y compris la transformation d'événements en temps réel, la validation de schéma via des catalogues de données et la gouvernance de la confidentialité. Celles-ci incluent des outils pour gérer le consentement des utilisateurs, appliquer la résidence des données au sein de régions géographiques spécifiques et masquer les informations personnellement identifiables en transit. L'installation et le déploiement des composants du plan de données sont gérés à l'aide de charts Helm.

Ce projet est un analyseur de données de chaîne d'approvisionnement pharmaceutique et de santé publique conçu pour suivre la distribution historique et la qualité des produits médicaux à travers les juridictions régionales. Il fonctionne comme un outil de surveillance pour la distribution de vaccins, analysant les modèles d'approvisionnement et les variances de qualité au fil du temps. Le système convertit les enregistrements de ventes pharmaceutiques en cartes de chaleur régionales et en cartes de densité spatiale pour visualiser la concentration géographique de la distribution des produits. Il inclut un outil d'analyse de séries temporelles pour suivre le mouvement historique des produits et identifier les tendances de l'offre et de la demande régionales. Le logiciel traite les données via une agrégation et un partitionnement provinciaux, organisant les enregistrements de transactions en modèles relationnels pour lier les fournisseurs et les produits à des emplacements régionaux spécifiques. Il transforme les coordonnées de ventes brutes en données de densité compatibles avec les outils de cartographie de visualisation spatiale.

Ce projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.