33 repositorios
Tools for managing the lifecycle, scaling, and recovery of distributed database clusters.
Distinguishing note: Focuses on cluster-level management and orchestration rather than raw data storage or query execution.
Explore 33 awesome GitHub repositories matching data & databases · Database Orchestration. Refine with filters or upvote what's useful.
TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc
Managing the full lifecycle of large-scale database clusters across cloud or container environments with automated scaling and recovery.
This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer
Automates the deployment and management of database instances directly from a container orchestration control plane.
go-admin is a full-stack admin scaffolding system that generates a complete backend management interface with built-in user, role, menu, and department management modules. It combines role-based access control enforcement, JWT token authentication, multi-tenant database isolation, and scheduled task scheduling into a single framework, with a Vue-based frontend rendered through reusable components. The project distinguishes itself by integrating a Casbin RBAC engine for granular permission management across menus, buttons, and API endpoints, alongside automatic API documentation generation fro
Isolates each tenant into its own database instance for strict data separation across organizations.
vcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool
Separates workloads and data by tenant inside a shared cluster to meet compliance and security requirements.
Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil
Manages and removes temporary tables and databases created during the query optimization process.
JimuReport is an open-source reporting and dashboard engine designed to be embedded directly into Spring Boot applications. Its core identity centers on generating data reports and full-screen dashboards from natural language descriptions, eliminating the need for manual design. The platform also provides a conversational query interface that translates plain-language questions into database queries, returning results as tables and charts without requiring SQL knowledge. What distinguishes JimuReport is its integration of AI skills that can be installed with a single command, enabling report
Separates data per tenant so each tenant sees only its own records, preventing cross-tenant data leaks.
Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process
Isolates customer data in SaaS deployments using shared tables with identifiers or independent database schemas.
CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove
Manages the lifecycle, scaling, and recovery of PostgreSQL clusters through declarative Kubernetes manifests.
This project is a production-ready starter kit and boilerplate for building multi-tenant software-as-a-service applications using .NET and React. It provides a multi-tenant application framework and a cloud-native infrastructure kit designed to support scalable cloud services. The project distinguishes itself through a modular monolith architecture that organizes business logic into isolated bounded contexts to prevent code entanglement. It implements comprehensive SaaS identity management, including role-based access control, account impersonation, and strict tenant data isolation across the
Ensures strict tenant data isolation at the persistence layer to prevent cross-tenant data leaks.
This project is a reference implementation of a production-ready backend API built with Rust and the Actix-Web framework. It serves as a codebase demonstrating the development of a newsletter subscription service, encompassing the management of subscriber sign-ups, email confirmations, and campaign delivery. The project highlights a layered architecture that separates concerns into handler, service, and repository layers. It utilizes an actor-based concurrency model for handling HTTP requests and employs trait-based abstractions to decouple business logic from external dependencies, such as e
Utilizes dedicated, isolated database instances to validate end-to-end API behavior during integration testing.
Hibernate ORM es un mapeador objeto-relacional para Java y una implementación completa de la Jakarta Persistence API. Funciona como una capa de abstracción de bases de datos SQL que traduce modelos de objetos Java a esquemas de bases de datos relacionales para gestionar la persistencia y el ciclo de vida de los datos. El framework se distingue por su arquitectura de aislamiento de datos multi-inquilino (multi-tenant) para separar la información de los clientes dentro de una misma instancia de base de datos. También cuenta con un generador de esquemas que produce y actualiza automáticamente estructuras relacionales basadas en mapeos de entidades. El sistema cubre áreas como la gestión de transacciones, control de concurrencia mediante bloqueos y seguimiento de datos temporales para auditoría. Proporciona herramientas para optimizar la obtención de datos mediante estrategias de grafos de entidades y admite tipos de datos avanzados como vectores y caracteres nacionalizados. El proyecto incluye un conjunto completo de utilidades de prueba para la capa de persistencia, incluyendo filtrado de dialectos de bases de datos y pruebas de cumplimiento de especificaciones.
Separates data for different customers using schema mapping and credential management within a single database instance.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Manages and secures data in isolated logical namespaces for multi-tenant resource management.
Lamp Cloud is a multi-tenant SaaS backend framework built on Java and Spring Cloud that provides a complete foundation for building enterprise-grade administration systems. Its core identity centers on supporting multiple tenant isolation strategies—including database-per-tenant, schema-per-tenant, and shared-table modes—that can be switched without altering business code, alongside a role-based access control system enforced at the gateway layer across all microservices. The framework distinguishes itself through comprehensive tenant lifecycle management tools that allow creating, configurin
Switches between database-per-tenant, schema-per-tenant, or shared-table isolation without changing business code.
Opal es un motor de distribución de políticas y sincronizador de datos de autorización en tiempo real. Sirve como plano de gestión para desplegar y monitorear motores de políticas distribuidos, como OPA y Cedar, en arquitecturas de microservicios. El proyecto centraliza la administración de políticas y datos mientras despliega puntos de decisión descentralizados. El sistema destaca por desacoplar el código de políticas, gestionado mediante control de versiones, de los datos de autorización recuperados de bases de datos y APIs externas. Utiliza un modelo de distribución de estado basado en pub/sub para enviar actualizaciones inmediatas a los agentes mediante WebSockets y webhooks, asegurando que los agentes descentralizados mantengan un estado sincronizado sin depender de polling periódico. La plataforma cubre capacidades de amplio alcance, incluyendo aislamiento de políticas multi-inquilino mediante distribución con scope, monitoreo de salud de agentes con sondas de vivacidad (liveness probes) y la orquestación de motores de políticas como sidecars. Proporciona además mecanismos para caché local para admitir operaciones sin conexión y autenticación segura de clientes mediante tokens firmados. El servidor de administración puede desplegarse como un contenedor o dentro de un clúster de Kubernetes utilizando un gestor de paquetes.
Separates authorization data for multiple tenants by assigning each a unique destination path in the policy engine.
Este proyecto es una implementación de referencia que proporciona una colección de ejemplos prácticos para patrones de acceso a datos y abstracciones de repositorios dentro del ecosistema Spring Data. Sirve como un escaparate integral para implementar capas de datos consistentes a través de varias bases de datos relacionales y no relacionales. El repositorio demuestra específicamente la persistencia multi-almacén integrando bases de datos relacionales, de documentos y vectoriales dentro de una única aplicación. Incluye implementaciones para búsqueda vectorial para gestionar embeddings de alta dimensión y búsquedas de similitud a través de diferentes tecnologías de bases de datos. Las capacidades adicionales cubiertas incluyen acceso a datos reactivo para operaciones no bloqueantes y flujos de datos asíncronos. El proyecto también proporciona orientación sobre la optimización de imágenes nativas para mejorar el rendimiento de inicio y el uso de memoria a través de la compilación anticipada (AOT). Los ejemplos ilustran además el aislamiento de datos multi-inquilino, el diseño de APIs de repositorios de datos y la integración de búsqueda geoespacial y de texto completo.
Separates user data within shared database instances using distinct schemas or discriminator columns.
ihp es un framework web con tipado fuerte y orquestador de aplicaciones full-stack diseñado para PostgreSQL. Funciona como un framework de renderizado del lado del servidor y un ORM con tipado fuerte que genera automáticamente tipos de registro a partir de esquemas SQL para garantizar la validación de consultas en tiempo de compilación. La plataforma se distingue por verificar el enrutamiento, las consultas a la base de datos y las plantillas en tiempo de compilación para evitar errores en tiempo de ejecución. Implementa interfaces web en tiempo real utilizando WebSockets para la sincronización instantánea de datos y emplea hipermedia impulsada por el servidor para parches parciales del DOM. El framework cubre una amplia gama de capacidades integradas, incluyendo gestión de identidad de usuario con soporte para passkeys y OAuth, una capa completa de almacenamiento de datos con migraciones automatizadas y un sistema integral de renderizado de UI con plantillas HTML con tipado fuerte. También proporciona herramientas integradas para el desarrollo de API JSON, ejecución de tareas en segundo plano de forma asíncrona e integración financiera para pasarelas de pago. Los entornos de producción se gestionan mediante despliegue declarativo con NixOS para una infraestructura reproducible.
Verifies data persistence and retrieval logic by running tests against a live database instance.
GlusterFS es un sistema de archivos distribuido definido por software y un clúster de almacenamiento escalable que agrega recursos de disco de múltiples servidores en un único espacio de nombres global. Funciona como una plataforma de almacenamiento unificada, permitiendo que los mismos datos subyacentes se expongan a través de interfaces de almacenamiento de archivos, bloques y objetos. El sistema se distingue por una arquitectura descentralizada que utiliza hashing consistente para distribuir archivos a través de nodos de red sin un servidor de metadatos central. Asegura la integridad y disponibilidad de los datos utilizando replicación de autocuración, consistencia basada en quórum para evitar escenarios de split-brain y georeplicación asíncrona para recuperación ante desastres en sitios geográficos distantes. La plataforma proporciona una amplia cobertura de capacidades a través de exportación de almacenamiento multiprotocolo vía NFS, Samba e iSCSI, así como una gestión integral de volúmenes que incluye instantáneas puntuales, cuotas de almacenamiento y expansión elástica de capacidad. La seguridad se maneja a través de cifrado TLS para datos en tránsito, integración de gestión de identidad y control de acceso POSIX granular. El software está disponible como paquetes binarios a través de repositorios comunitarios para varias distribuciones de Linux.
Provides isolated storage environments associated with specific tenants to ensure strict data separation.
Pigsty es una plataforma integral de orquestación de infraestructura de bases de datos diseñada para automatizar el ciclo de vida completo de clústeres de PostgreSQL de alta disponibilidad. Funciona como un framework de infraestructura como código que gestiona la coordinación de clústeres, el aprovisionamiento de nodos y el descubrimiento de servicios a través de playbooks idempotentes. Al integrar mecanismos de consenso distribuido, la plataforma garantiza la conmutación por error automatizada y la aplicación de estado consistente en diversos entornos, incluyendo infraestructura bare metal y virtualizada. La plataforma se distingue por un sólido conjunto de capacidades operativas que se extienden más allá de la gestión estándar de bases de datos. Cuenta con una tubería de observabilidad integrada que agrega métricas, registros y trazas en paneles centralizados para la monitorización del rendimiento en tiempo real y el análisis de diagnóstico. Además, proporciona un framework de migración que emula protocolos de cable propietarios y sintaxis SQL, permitiendo la integración de cargas de trabajo de bases de datos empresariales heredadas en entornos relacionales modernos. El sistema cubre una amplia superficie funcional, incluyendo gestión avanzada de almacenamiento con clonación de copia en escritura para un despliegue rápido, y orquestación de múltiples bases de datos que coordina motores relacionales con almacenamiento en caché y almacenamiento de objetos. También incorpora endurecimiento de seguridad, copia de seguridad y recuperación automatizadas, y enrutamiento de tráfico a través de proxies en capas para desacoplar las conexiones de los clientes de la topología del clúster subyacente. El proyecto se distribuye como un modelo de espejo de paquetes autónomo, lo que permite un despliegue y una gestión de dependencias consistentes en entornos seguros o aislados.
Implements role-based access control with independent credentials for different clusters to ensure multi-tenant isolation.
Mimir es una base de datos de series temporales multi-inquilino y un almacén de métricas distribuido diseñado para telemetría escalable. Sirve como un backend compatible con Prometheus, proporcionando almacenamiento a largo plazo y un motor de consultas escalable para volúmenes masivos de datos de series temporales. El sistema está construido para la observabilidad multi-inquilino, aislando datos de telemetría y límites de recursos para equipos u organizaciones independientes dentro de un mismo clúster. Asegura alta disponibilidad y durabilidad mediante el sharding y la replicación de datos a través de un clúster distribuido, utilizando almacenamiento de objetos para la persistencia y eliminar dependencias de bases de datos externas. El proyecto cubre capacidades de amplio alcance, incluyendo la agregación global de métricas para análisis entre regiones y la ejecución de consultas distribuidas mediante paralelización y caché. También integra herramientas de observabilidad como alertas federadas, monitoreo sintético y flujos de trabajo de resolución de incidentes impulsados por IA para acelerar la resolución de problemas. Los controles administrativos incluyen cuotas de recursos por inquilino, anulaciones de recursos por usuario y shuffle-sharding para el aislamiento de cargas de trabajo.
Separates metrics and queries from different tenants within a single cluster to ensure strict data isolation.
Davinci es una plataforma de inteligencia de negocios y visualización de datos utilizada para construir dashboards e informes interactivos. Funciona como un constructor de dashboards basado en SQL y un servicio de analítica multi-tenant que se conecta a bases de datos mediante JDBC y archivos CSV para transformar datos crudos en componentes visuales. La plataforma se distingue por su modelo de seguridad granular, que incluye permisos a nivel de fila y columna integrados con autenticación LDAP y OAuth2. También proporciona una herramienta de visualización embebida que permite insertar gráficos y dashboards parametrizados y seguros en aplicaciones externas mediante URLs y frames. El sistema cubre una amplia gama de capacidades, incluyendo modelado de datos con plantillas SQL, un motor de diseño drag-and-drop para dashboards responsivos y una amplia variedad de tipos de visualización como diagramas de Sankey, gráficos de radar y mapas geográficos. Incluye además automatización para programar informes por correo electrónico y utiliza caché de clave-valor para optimizar el rendimiento de las consultas.
Maintains strict data and resource boundaries by grouping users, roles, and projects into isolated organizational units.