33 repository-uri
Tools for managing the lifecycle, scaling, and recovery of distributed database clusters.
Distinguishing note: Focuses on cluster-level management and orchestration rather than raw data storage or query execution.
Explore 33 awesome GitHub repositories matching data & databases · Database Orchestration. Refine with filters or upvote what's useful.
TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc
Managing the full lifecycle of large-scale database clusters across cloud or container environments with automated scaling and recovery.
This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer
Automates the deployment and management of database instances directly from a container orchestration control plane.
go-admin is a full-stack admin scaffolding system that generates a complete backend management interface with built-in user, role, menu, and department management modules. It combines role-based access control enforcement, JWT token authentication, multi-tenant database isolation, and scheduled task scheduling into a single framework, with a Vue-based frontend rendered through reusable components. The project distinguishes itself by integrating a Casbin RBAC engine for granular permission management across menus, buttons, and API endpoints, alongside automatic API documentation generation fro
Isolates each tenant into its own database instance for strict data separation across organizations.
vcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool
Separates workloads and data by tenant inside a shared cluster to meet compliance and security requirements.
Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil
Manages and removes temporary tables and databases created during the query optimization process.
JimuReport is an open-source reporting and dashboard engine designed to be embedded directly into Spring Boot applications. Its core identity centers on generating data reports and full-screen dashboards from natural language descriptions, eliminating the need for manual design. The platform also provides a conversational query interface that translates plain-language questions into database queries, returning results as tables and charts without requiring SQL knowledge. What distinguishes JimuReport is its integration of AI skills that can be installed with a single command, enabling report
Separates data per tenant so each tenant sees only its own records, preventing cross-tenant data leaks.
Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process
Isolates customer data in SaaS deployments using shared tables with identifiers or independent database schemas.
CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove
Manages the lifecycle, scaling, and recovery of PostgreSQL clusters through declarative Kubernetes manifests.
This project is a production-ready starter kit and boilerplate for building multi-tenant software-as-a-service applications using .NET and React. It provides a multi-tenant application framework and a cloud-native infrastructure kit designed to support scalable cloud services. The project distinguishes itself through a modular monolith architecture that organizes business logic into isolated bounded contexts to prevent code entanglement. It implements comprehensive SaaS identity management, including role-based access control, account impersonation, and strict tenant data isolation across the
Ensures strict tenant data isolation at the persistence layer to prevent cross-tenant data leaks.
This project is a reference implementation of a production-ready backend API built with Rust and the Actix-Web framework. It serves as a codebase demonstrating the development of a newsletter subscription service, encompassing the management of subscriber sign-ups, email confirmations, and campaign delivery. The project highlights a layered architecture that separates concerns into handler, service, and repository layers. It utilizes an actor-based concurrency model for handling HTTP requests and employs trait-based abstractions to decouple business logic from external dependencies, such as e
Utilizes dedicated, isolated database instances to validate end-to-end API behavior during integration testing.
Hibernate ORM este un mapper obiect-relațional pentru Java și o implementare completă a Jakarta Persistence API. Acționează ca un strat de abstractizare pentru baze de date SQL care traduce modelele de obiecte Java în scheme de baze de date relaționale pentru a gestiona persistența și ciclurile de viață ale datelor. Framework-ul se distinge printr-un sistem de izolare a datelor multi-tenant pentru separarea datelor clienților în cadrul unei singure instanțe de bază de date. De asemenea, dispune de un generator de scheme de baze de date care produce și actualizează automat structurile relaționale pe baza mapărilor de entități. Sistemul acoperă domenii vaste, inclusiv gestionarea tranzacțiilor, controlul concurenței prin blocare și urmărirea datelor temporale pentru audit. Oferă instrumente pentru optimizarea interogărilor prin strategii de tip entity-graph și suportă tipuri de date avansate, cum ar fi datele vectoriale și caracterele naționalizate. Proiectul include o suită cuprinzătoare de utilitare de testare pentru stratul de persistență, inclusiv filtrarea dialectelor de baze de date și testarea conformității cu specificațiile.
Separates data for different customers using schema mapping and credential management within a single database instance.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Manages and secures data in isolated logical namespaces for multi-tenant resource management.
Lamp Cloud is a multi-tenant SaaS backend framework built on Java and Spring Cloud that provides a complete foundation for building enterprise-grade administration systems. Its core identity centers on supporting multiple tenant isolation strategies—including database-per-tenant, schema-per-tenant, and shared-table modes—that can be switched without altering business code, alongside a role-based access control system enforced at the gateway layer across all microservices. The framework distinguishes itself through comprehensive tenant lifecycle management tools that allow creating, configurin
Switches between database-per-tenant, schema-per-tenant, or shared-table isolation without changing business code.
Opal este un motor de distribuție a politicilor și un sincronizator de date de autorizare în timp real. Servește ca un plan de gestionare pentru implementarea și monitorizarea motoarelor de politici distribuite, cum ar fi OPA și Cedar, în arhitecturi de microservicii. Proiectul centralizează administrarea politicilor și a datelor în timp ce implementează puncte de decizie descentralizate. Sistemul se distinge prin decuplarea codului de politici, gestionat prin version control, de datele de autorizare preluate din baze de date și API-uri externe. Utilizează un model de distribuție a stării bazat pe pub/sub pentru a trimite actualizări imediate către agenți prin WebSockets și webhooks, asigurându-se că agenții descentralizați mențin o stare sincronizată fără a se baza pe polling periodic. Platforma acoperă capabilități extinse, inclusiv izolarea politicilor multi-tenant prin distribuție scoped, monitorizarea sănătății agenților cu liveness probes și orchestrarea motoarelor de politici ca sidecar-uri. Oferă, de asemenea, mecanisme pentru caching local pentru a susține operarea offline și autentificarea securizată a clienților folosind token-uri semnate. Serverul de administrare poate fi implementat ca un container sau într-un cluster Kubernetes folosind un manager de pachete.
Separates authorization data for multiple tenants by assigning each a unique destination path in the policy engine.
Acest proiect este o implementare de referință care oferă o colecție de exemple practice pentru tiparele de acces la date și abstractizările de repository în ecosistemul Spring Data. Acesta servește drept vitrină cuprinzătoare pentru implementarea straturilor de date consistente în diverse baze de date relaționale și non-relaționale. Repository-ul demonstrează în mod specific persistența multi-store prin integrarea bazelor de date relaționale, document și vectoriale într-o singură aplicație. Include implementări pentru căutarea vectorială pentru a gestiona embedding-uri de înaltă dimensiune și căutări de similaritate între diferite tehnologii de baze de date. Capabilitățile suplimentare acoperite includ accesul reactiv la date pentru operațiuni non-blocking și fluxuri de date asincrone. Proiectul oferă, de asemenea, îndrumări privind optimizarea imaginilor native pentru a îmbunătăți performanța de pornire și utilizarea memoriei prin compilare ahead-of-time. Exemplele ilustrează în continuare izolarea datelor multi-tenant, designul API-urilor de repository de date și integrarea căutării geospațiale și full-text.
Separates user data within shared database instances using distinct schemas or discriminator columns.
ihp este un framework web type-safe și un orchestrator de aplicații full-stack conceput pentru PostgreSQL. Funcționează ca un framework de randare pe partea de server și un ORM type-safe care generează automat tipuri de înregistrări din scheme SQL pentru a asigura validarea interogărilor la momentul compilării. Platforma se distinge prin verificarea rutelor, a interogărilor de bază de date și a template-urilor la compilare pentru a preveni erorile la runtime. Implementează interfețe web în timp real folosind WebSockets pentru sincronizarea instantanee a datelor și utilizează hypermedia condusă de server pentru patch-uri parțiale de DOM. Framework-ul acoperă o gamă largă de capabilități integrate, inclusiv gestionarea identității utilizatorilor cu suport pentru passkey și OAuth, un strat complet de stocare a datelor cu migrări automate și un sistem cuprinzător de randare UI cu template-uri HTML type-safe. Oferă, de asemenea, instrumente încorporate pentru dezvoltarea de API-uri JSON, execuția asincronă a sarcinilor de fundal și integrare financiară pentru gateway-uri de plată. Mediile de producție sunt gestionate prin deployment declarativ NixOS pentru infrastructură reproductibilă.
Verifies data persistence and retrieval logic by running tests against a live database instance.
GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.
Provides isolated storage environments associated with specific tenants to ensure strict data separation.
Pigsty este o platformă cuprinzătoare de orchestrare a infrastructurii de baze de date concepută pentru a automatiza întregul ciclu de viață al clusterelor PostgreSQL de înaltă disponibilitate. Acesta funcționează ca un framework de tip infrastructure-as-code care gestionează coordonarea clusterului, provizionarea nodurilor și descoperirea serviciilor prin playbook-uri idempotente. Prin integrarea mecanismelor de consens distribuit, platforma asigură failover-ul automat și impunerea stării consistente în medii diverse, inclusiv bare metal și infrastructură virtualizată. Platforma se distinge printr-o suită robustă de capabilități operaționale care se extind dincolo de gestionarea standard a bazelor de date. Dispune de un pipeline de observabilitate încorporat care agregă metrici, log-uri și urme în dashboard-uri centralizate pentru monitorizarea performanței în timp real și analiză diagnostică. În plus, oferă un framework de migrare care emulează protocoalele wire proprietare și sintaxa SQL, permițând integrarea sarcinilor de lucru ale bazelor de date enterprise legacy în medii relaționale moderne. Sistemul acoperă o suprafață funcțională largă, inclusiv gestionarea avansată a stocării cu clonare copy-on-write pentru implementare rapidă și orchestrarea multi-bază de date care coordonează motoarele relaționale cu caching-ul și serviciile de stocare a obiectelor. De asemenea, încorporează securizarea, backup-ul și recuperarea automată și rutarea traficului prin proxy-uri stratificate pentru a decupla conexiunile clienților de topologia clusterului subiacent. Proiectul este distribuit ca un model de oglindire a pachetelor auto-conținut, permițând implementarea consistentă și gestionarea dependențelor în medii securizate sau izolate (air-gapped).
Implements role-based access control with independent credentials for different clusters to ensure multi-tenant isolation.
Mimir este o bază de date de serii temporale multi-tenant și un magazin de metrici distribuit, conceput pentru telemetrie scalabilă. Servește ca un backend compatibil cu Prometheus, oferind stocare pe termen lung și un motor de interogare scalabil pentru volume masive de date de serii temporale. Sistemul este construit pentru observabilitate multi-tenant, izolând datele de telemetrie și limitele de resurse pentru echipe sau organizații independente în cadrul unui singur cluster. Asigură disponibilitate ridicată și durabilitate prin sharding și replicarea datelor într-un cluster distribuit, utilizând stocarea de obiecte pentru persistență pentru a elimina dependențele de baze de date externe. Proiectul acoperă capabilități vaste, inclusiv agregarea globală a metricilor pentru analiză cross-region și execuția distribuită a interogărilor folosind paralelizarea și caching-ul. De asemenea, integrează instrumente de observabilitate precum alertarea federată, monitorizarea sintetică și fluxuri de lucru de rezolvare a incidentelor bazate pe AI pentru a accelera depanarea. Controalele administrative includ cote de resurse pentru chiriași, override-uri de resurse per-utilizator și shuffle-sharding pentru izolarea sarcinilor de lucru.
Separates metrics and queries from different tenants within a single cluster to ensure strict data isolation.
Davinci este o platformă de business intelligence și vizualizare a datelor utilizată pentru construirea de dashboard-uri și rapoarte interactive. Funcționează ca un constructor de dashboard-uri bazat pe SQL și un serviciu de analiză multi-tenant care se conectează la baze de date prin JDBC și fișiere CSV pentru a transforma datele brute în componente vizuale. Platforma se distinge prin modelul său granular de securitate, care include permisiuni la nivel de rând și coloană integrate cu autentificarea LDAP și OAuth2. Oferă, de asemenea, un instrument de vizualizare încorporat care permite inserarea diagramelor și dashboard-urilor securizate și parametrizate în aplicații externe prin URL-uri și frame-uri. Sistemul acoperă o gamă largă de capabilități, inclusiv modelarea datelor cu șabloane SQL, un motor de layout drag-and-drop pentru dashboard-uri responsive și o mare varietate de tipuri de vizualizare, cum ar fi diagrame Sankey, diagrame radar și hărți geografice. Include, de asemenea, automatizare pentru programarea rapoartelor prin e-mail și utilizează caching-ul cheie-valoare pentru a optimiza performanța interogărilor.
Maintains strict data and resource boundaries by grouping users, roles, and projects into isolated organizational units.