33 Repos
Tools for managing the lifecycle, scaling, and recovery of distributed database clusters.
Distinguishing note: Focuses on cluster-level management and orchestration rather than raw data storage or query execution.
Explore 33 awesome GitHub repositories matching data & databases · Database Orchestration. Refine with filters or upvote what's useful.
TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc
Managing the full lifecycle of large-scale database clusters across cloud or container environments with automated scaling and recovery.
This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer
Automates the deployment and management of database instances directly from a container orchestration control plane.
go-admin is a full-stack admin scaffolding system that generates a complete backend management interface with built-in user, role, menu, and department management modules. It combines role-based access control enforcement, JWT token authentication, multi-tenant database isolation, and scheduled task scheduling into a single framework, with a Vue-based frontend rendered through reusable components. The project distinguishes itself by integrating a Casbin RBAC engine for granular permission management across menus, buttons, and API endpoints, alongside automatic API documentation generation fro
Isolates each tenant into its own database instance for strict data separation across organizations.
vcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool
Separates workloads and data by tenant inside a shared cluster to meet compliance and security requirements.
Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil
Manages and removes temporary tables and databases created during the query optimization process.
JimuReport is an open-source reporting and dashboard engine designed to be embedded directly into Spring Boot applications. Its core identity centers on generating data reports and full-screen dashboards from natural language descriptions, eliminating the need for manual design. The platform also provides a conversational query interface that translates plain-language questions into database queries, returning results as tables and charts without requiring SQL knowledge. What distinguishes JimuReport is its integration of AI skills that can be installed with a single command, enabling report
Separates data per tenant so each tenant sees only its own records, preventing cross-tenant data leaks.
Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process
Isolates customer data in SaaS deployments using shared tables with identifiers or independent database schemas.
CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove
Manages the lifecycle, scaling, and recovery of PostgreSQL clusters through declarative Kubernetes manifests.
This project is a production-ready starter kit and boilerplate for building multi-tenant software-as-a-service applications using .NET and React. It provides a multi-tenant application framework and a cloud-native infrastructure kit designed to support scalable cloud services. The project distinguishes itself through a modular monolith architecture that organizes business logic into isolated bounded contexts to prevent code entanglement. It implements comprehensive SaaS identity management, including role-based access control, account impersonation, and strict tenant data isolation across the
Ensures strict tenant data isolation at the persistence layer to prevent cross-tenant data leaks.
This project is a reference implementation of a production-ready backend API built with Rust and the Actix-Web framework. It serves as a codebase demonstrating the development of a newsletter subscription service, encompassing the management of subscriber sign-ups, email confirmations, and campaign delivery. The project highlights a layered architecture that separates concerns into handler, service, and repository layers. It utilizes an actor-based concurrency model for handling HTTP requests and employs trait-based abstractions to decouple business logic from external dependencies, such as e
Utilizes dedicated, isolated database instances to validate end-to-end API behavior during integration testing.
Hibernate ORM ist ein Java-Object-Relational-Mapper und eine vollständige Implementierung der Jakarta Persistence API. Es dient als SQL-Datenbank-Abstraktionsschicht, die Java-Objektmodelle in relationale Datenbankschemata übersetzt, um Datenpersistenz und Lebenszyklen zu verwalten. Das Framework zeichnet sich durch ein Multi-Tenant-Datenisolations-Framework zur Trennung von Kundendaten innerhalb einer einzigen Datenbankinstanz aus. Es verfügt zudem über einen Datenbankschema-Generator, der automatisch relationale Strukturen basierend auf Entity-Mappings erstellt und aktualisiert. Das System deckt breite Funktionsbereiche ab, darunter Transaktionsmanagement, Concurrency-Locking-Kontrolle und temporale Datenverfolgung für Audit-Logging. Es bietet Tools zur Optimierung des Datenabrufs durch Entity-Graph-Strategien und unterstützt fortgeschrittene Datentypen wie Vektordaten und nationalisierte Zeichen. Das Projekt enthält eine umfassende Suite von Test-Utilities für die Persistenzschicht, einschließlich Datenbank-Dialekt-Filterung und Compliance-Tests für Spezifikationen.
Separates data for different customers using schema mapping and credential management within a single database instance.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Manages and secures data in isolated logical namespaces for multi-tenant resource management.
Lamp Cloud is a multi-tenant SaaS backend framework built on Java and Spring Cloud that provides a complete foundation for building enterprise-grade administration systems. Its core identity centers on supporting multiple tenant isolation strategies—including database-per-tenant, schema-per-tenant, and shared-table modes—that can be switched without altering business code, alongside a role-based access control system enforced at the gateway layer across all microservices. The framework distinguishes itself through comprehensive tenant lifecycle management tools that allow creating, configurin
Switches between database-per-tenant, schema-per-tenant, or shared-table isolation without changing business code.
Opal ist eine Engine für die Richtlinienverteilung und ein Synchronisierer für Echtzeit-Autorisierungsdaten. Sie dient als Management-Ebene für das Deployment und die Überwachung verteilter Richtlinien-Engines, wie OPA und Cedar, über Microservices-Architekturen hinweg. Das Projekt zentralisiert die Verwaltung von Richtlinien und Daten bei gleichzeitigem Deployment dezentraler Entscheidungspunkte. Das System zeichnet sich dadurch aus, dass es Richtliniencode, der über Versionskontrolle verwaltet wird, von Autorisierungsdaten entkoppelt, die aus externen Datenbanken und APIs abgerufen werden. Es verwendet ein Pub/Sub-basiertes Status-Verteilungsmodell, um sofortige Updates über WebSockets und Webhooks an Agenten zu pushen, wodurch sichergestellt wird, dass dezentrale Agenten einen synchronisierten Status beibehalten, ohne auf periodisches Polling angewiesen zu sein. Die Plattform deckt weitreichende Funktionen ab, einschließlich Multi-Tenant-Richtlinienisolierung durch Scoped-Distribution, Agenten-Gesundheitsüberwachung mit Liveness-Probes und der Orchestrierung von Richtlinien-Engines als Sidecars. Sie bietet zudem Mechanismen für lokales Caching zur Unterstützung des Offline-Betriebs und sichere Client-Authentifizierung mittels signierter Tokens. Der Administrationsserver kann als Container oder innerhalb eines Kubernetes-Clusters mittels eines Paketmanagers bereitgestellt werden.
Separates authorization data for multiple tenants by assigning each a unique destination path in the policy engine.
Dieses Projekt ist eine Referenzimplementierung, die eine Sammlung praktischer Beispiele für Datenzugriffsmuster und Repository-Abstraktionen innerhalb des Spring-Data-Ökosystems bereitstellt. Es dient als umfassendes Showcase für die Implementierung konsistenter Datenschichten über verschiedene relationale und nicht-relationale Datenbanken hinweg. Das Repository demonstriert spezifisch Multi-Store-Persistenz durch die Integration relationaler, Dokumenten- und Vektordatenbanken innerhalb einer einzigen Anwendung. Es enthält Implementierungen für Vektorsuche zur Verwaltung hochdimensionaler Embeddings und Ähnlichkeitssuchen über verschiedene Datenbanktechnologien hinweg. Zusätzliche abgedeckte Funktionen umfassen reaktiven Datenzugriff für nicht-blockierende Operationen und asynchrone Datenströme. Das Projekt bietet zudem Anleitungen zur Optimierung nativer Images, um die Start-Performance und den Speicherverbrauch durch Ahead-of-Time-Kompilierung zu verbessern. Die Beispiele illustrieren darüber hinaus Multi-Tenant-Datenisolierung, das Design von Daten-Repository-APIs sowie die Integration von Geodaten- und Volltextsuche.
Separates user data within shared database instances using distinct schemas or discriminator columns.
ihp is a type-safe web framework and full-stack application orchestrator designed for PostgreSQL. It functions as a server-side rendering framework and a type-safe ORM that automatically generates record types from SQL schemas to ensure compile-time query validation. The platform distinguishes itself by verifying routing, database queries, and templates at compile time to prevent runtime crashes. It implements real-time web interfaces using WebSockets for instant data synchronization and employs server-driven hypermedia for partial DOM patching. The framework covers a broad range of integrat
Verifies data persistence and retrieval logic by running tests against a live database instance.
GlusterFS ist ein softwaredefiniertes verteiltes Dateisystem und Scale-Out-Storage-Cluster, das Festplattenressourcen von mehreren Servern in einem einzigen globalen Namensraum aggregiert. Es fungiert als vereinheitlichte Speicherplattform, die es ermöglicht, dieselben zugrunde liegenden Daten über Datei-, Block- und Objektspeicherschnittstellen bereitzustellen. Das System zeichnet sich durch eine dezentrale Architektur aus, die konsistentes Hashing verwendet, um Dateien über Netzwerkknoten hinweg ohne zentralen Metadaten-Server zu verteilen. Es stellt Datenintegrität und -verfügbarkeit durch selbstheilende Replikation, Quorum-basierte Konsistenz zur Vermeidung von Split-Brain-Szenarien sowie asynchrone Geo-Replikation für die Notfallwiederherstellung über entfernte geografische Standorte hinweg sicher. Die Plattform bietet eine breite Abdeckung von Funktionen über Multi-Protokoll-Speicherexport via NFS, Samba und iSCSI sowie umfassende Volume-Verwaltung, einschließlich Point-in-Time-Snapshots, Speicherkontingenten und elastischer Kapazitätserweiterung. Die Sicherheit wird durch TLS-Verschlüsselung für Daten während der Übertragung, Identitätsmanagement-Integration und granulare POSIX-Zugriffskontrolle gehandhabt. Die Software ist als Binärpakete über Community-Repositories für verschiedene Linux-Distributionen verfügbar.
Provides isolated storage environments associated with specific tenants to ensure strict data separation.
Pigsty is a comprehensive database infrastructure orchestration platform designed to automate the full lifecycle of high-availability PostgreSQL clusters. It functions as an infrastructure-as-code framework that manages cluster coordination, node provisioning, and service discovery through idempotent playbooks. By integrating distributed consensus mechanisms, the platform ensures automated failover and consistent state enforcement across diverse environments, including bare metal and virtualized infrastructure. The platform distinguishes itself through a robust suite of operational capabiliti
Implements role-based access control with independent credentials for different clusters to ensure multi-tenant isolation.
Mimir ist eine Multi-Tenant-Zeitreihendatenbank und ein verteilter Metrik-Speicher für skalierbare Telemetrie. Es dient als Prometheus-kompatibles Backend und bietet Langzeitspeicherung sowie eine skalierbare Abfrage-Engine für massive Mengen an Zeitreihendaten. Das System ist für Multi-Tenant-Observability konzipiert und isoliert Telemetriedaten sowie Ressourcenlimits für unabhängige Teams oder Organisationen innerhalb eines einzigen Clusters. Es gewährleistet hohe Verfügbarkeit und Langlebigkeit durch Sharding und Replikation von Daten über einen verteilten Cluster hinweg und nutzt Objektspeicher zur Persistenz, um externe Datenbankabhängigkeiten zu eliminieren. Das Projekt deckt weitreichende Fähigkeiten ab, einschließlich globaler Metrik-Aggregation für regionsübergreifende Analysen und verteilter Abfrageausführung mittels Parallelisierung und Caching. Es integriert zudem Observability-Tools wie föderiertes Alerting, synthetisches Monitoring und KI-gestützte Incident-Resolution-Workflows zur Beschleunigung der Fehlerbehebung. Administrative Kontrollen umfassen Tenant-Ressourcenquoten, benutzerbezogene Ressourcen-Overrides und Shuffle-Sharding für Workload-Isolierung.
Separates metrics and queries from different tenants within a single cluster to ensure strict data isolation.
Davinci ist eine Business-Intelligence- und Datenvisualisierungsplattform, die für den Aufbau interaktiver Dashboards und Berichte verwendet wird. Sie fungiert als SQL-basierter Dashboard-Builder und Multi-Tenant-Analytics-Dienst, der über JDBC und CSV-Dateien mit Datenbanken verbunden wird, um Rohdaten in visuelle Komponenten zu transformieren. Die Plattform zeichnet sich durch ihr granulares Sicherheitsmodell aus, das Zeilen- und Spalten-basierte Berechtigungen umfasst, die in LDAP- und OAuth2-Authentifizierung integriert sind. Sie bietet zudem ein eingebettetes Visualisierungstool, das es ermöglicht, sichere, parametrisierte Diagramme und Dashboards über URLs und Frames in externe Anwendungen einzubinden. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Datenmodellierung mit SQL-Vorlagen, einer Drag-and-Drop-Layout-Engine für responsive Dashboards und einer Vielzahl von Visualisierungstypen wie Sankey-Diagrammen, Radar-Charts und geografischen Karten. Zudem umfasst es Automatisierungen für die Planung E-Mail-basierter Berichte und nutzt Key-Value-Caching zur Optimierung der Abfrageleistung.
Maintains strict data and resource boundaries by grouping users, roles, and projects into isolated organizational units.