Awesome GitHub RepositoriesTable Managers

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Iceberg is an open table format and big data table manager designed for huge analytic datasets in cloud storage. It provides a specification for tracking large-scale datasets to maintain transactional consistency and structural integrity. The project utilizes a standardized REST catalog interface to manage table metadata, ensuring interoperability between different compute engines. This allows diverse query engines to connect to a single table interface and maintain consistency across different processing frameworks. Its core capabilities include managing large-scale analytic tables, coordin

Moto is a cloud service mockery framework and API mock server that simulates AWS infrastructure locally. It allows developers to test cloud-dependent code and verify infrastructure-as-code templates without deploying real resources or incurring costs. The project functions as an SDK interceptor that can patch existing service clients to redirect requests to a local mock environment. It can also be run as a standalone HTTP server, enabling any programming language to interact with the simulated endpoints. The framework covers a vast array of simulated capabilities, including data storage, com

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

lakeFS est un système de versioning de data lake qui fournit des branches et des commits de type Git pour de grands jeux de données stockés dans un stockage objet. Il fonctionne comme une couche de contrôle de version, permettant la création d'instantanés immuables, de commits atomiques et de branches zero-copy pour créer des environnements isolés pour l'expérimentation de données sans dupliquer les fichiers physiques. Le système sert de passerelle de stockage compatible S3 et de catalogue REST Iceberg, permettant aux protocoles de stockage cloud standard et aux clients compatibles de gérer des tables versionnées. Il agit comme un gardien de la qualité des données en utilisant un système de hooks piloté par événements pour valider les jeux de données par rapport aux politiques de gouvernance avant que les changements ne soient fusionnés en production. La plateforme couvre de larges capacités pour la gouvernance des données, incluant la collaboration via pull requests, le contrôle d'accès basé sur les rôles et le suivi de la lignée des données (data lineage). Elle fournit une intégration pour l'orchestration de workflows, les pipelines de machine learning et divers moteurs de calcul big data, prenant en charge la connectivité de stockage multi-cloud et la synchronisation d'identité via SSO et SCIM. Le logiciel peut être installé en utilisant des binaires, des conteneurs ou des charts Helm pour un déploiement sur Kubernetes.

GeoPandas est une bibliothèque Python qui étend pandas avec une prise en charge native des données géospatiales. Elle traite les géométries géographiques — points, lignes et polygones — comme un type de colonne de premier ordre au sein des DataFrames, permettant aux utilisateurs de stocker, manipuler et analyser des données spatiales vectorielles parallèlement aux attributs tabulaires traditionnels. La bibliothèque s'appuie sur des composants géospatiaux éprouvés : elle utilise Shapely pour toutes les opérations géométriques, Fiona et GDAL pour la lecture et l'écriture de formats de fichiers spatiaux standard, PyProj pour la reprojection de coordonnées, et un index spatial R-tree (via Shapely) pour accélérer les requêtes spatiales. Ce qui distingue GeoPandas, c'est son intégration transparente de flux de travail d'analyse spatiale complets au sein de l'écosystème pandas. Les utilisateurs peuvent effectuer des transformations de systèmes de référence de coordonnées pour aligner les données entre différentes projections, calculer des propriétés géométriques telles que l'aire et la longueur, générer des zones tampons (buffers) et des centroïdes, et effectuer des opérations d'ensembles comme des intersections et des unions. La bibliothèque prend également en charge le filtrage basé sur la localisation, les jointures spatiales qui combinent des jeux de données basés sur des relations géométriques, et les analyses de superposition qui produisent des résultats agrégés. Pour l'exploration, elle offre des capacités de visualisation cartographique, produisant des tracés statiques et des cartes interactives directement à partir de tables spatiales. Au-delà de ces différenciateurs clés, GeoPandas gère le cycle de vie complet des données géographiques : importation et exportation vers des formats courants comme Shapefile, GeoJSON et GeoPackage ; gestion de tables spatiales liant la géométrie aux colonnes d'attributs ; et interrogation ou filtrage d'entités par localisation, conditions d'attributs ou prédicats spatiaux. Sa documentation couvre l'installation, une référence API complète et des guides utilisateur qui détaillent les tâches géospatiales courantes.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse