Awesome GitHub RepositoriesTable Managers

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Iceberg is an open table format and big data table manager designed for huge analytic datasets in cloud storage. It provides a specification for tracking large-scale datasets to maintain transactional consistency and structural integrity. The project utilizes a standardized REST catalog interface to manage table metadata, ensuring interoperability between different compute engines. This allows diverse query engines to connect to a single table interface and maintain consistency across different processing frameworks. Its core capabilities include managing large-scale analytic tables, coordin

Moto is a cloud service mockery framework and API mock server that simulates AWS infrastructure locally. It allows developers to test cloud-dependent code and verify infrastructure-as-code templates without deploying real resources or incurring costs. The project functions as an SDK interceptor that can patch existing service clients to redirect requests to a local mock environment. It can also be run as a standalone HTTP server, enabling any programming language to interact with the simulated endpoints. The framework covers a vast array of simulated capabilities, including data storage, com

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

lakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.

GeoPandas ist eine Python-Bibliothek, die pandas um native Unterstützung für Geodaten erweitert. Sie behandelt geografische Geometrien – Punkte, Linien und Polygone – als erstklassigen Spaltentyp innerhalb von DataFrames, wodurch Benutzer vektorbasierte räumliche Daten zusammen mit herkömmlichen tabellarischen Attributen speichern, bearbeiten und analysieren können. Die Bibliothek basiert auf bewährten Geodaten-Komponenten: Sie nutzt Shapely für alle geometrischen Operationen, Fiona und GDAL zum Lesen und Schreiben von Standard-Geodatenformaten, PyProj für die Koordinaten-Reprojektion sowie einen R-Tree-räumlichen Index (von Shapely) zur Beschleunigung räumlicher Abfragen. Was GeoPandas auszeichnet, ist die nahtlose Integration vollständiger räumlicher Analyse-Workflows in das pandas-Ökosystem. Benutzer können Koordinatenreferenzsystem-Transformationen durchführen, um Daten über verschiedene Projektionen hinweg abzugleichen, geometrische Eigenschaften wie Fläche und Länge berechnen, Puffer und Schwerpunkte generieren sowie Mengenoperationen wie Schnittmengen und Vereinigungen durchführen. Die Bibliothek unterstützt zudem standortbasierte Filterung, räumliche Joins, die Datensätze basierend auf geometrischen Beziehungen kombinieren, sowie Overlay-Analysen, die aggregierte Ergebnisse liefern. Zur Exploration bietet sie Funktionen zur Kartenvisualisierung, mit denen statische Plots und interaktive Karten direkt aus räumlichen Tabellen erstellt werden können. Über diese Kernmerkmale hinaus deckt GeoPandas den gesamten Lebenszyklus geografischer Daten ab: Import und Export gängiger Formate wie Shapefile, GeoJSON und GeoPackage; Verwaltung räumlicher Tabellen, die Geometrie mit Attributspalten verknüpfen; sowie das Abfragen oder Filtern von Features nach Standort, Attributbedingungen oder räumlichen Prädikaten. Die Dokumentation umfasst die Installation, eine umfassende API-Referenz sowie Benutzerhandbücher, die durch gängige Geodaten-Aufgaben führen.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse