33 مستودعات
Tools for managing the lifecycle, scaling, and recovery of distributed database clusters.
Distinguishing note: Focuses on cluster-level management and orchestration rather than raw data storage or query execution.
Explore 33 awesome GitHub repositories matching data & databases · Database Orchestration. Refine with filters or upvote what's useful.
TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc
Managing the full lifecycle of large-scale database clusters across cloud or container environments with automated scaling and recovery.
This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer
Automates the deployment and management of database instances directly from a container orchestration control plane.
go-admin is a full-stack admin scaffolding system that generates a complete backend management interface with built-in user, role, menu, and department management modules. It combines role-based access control enforcement, JWT token authentication, multi-tenant database isolation, and scheduled task scheduling into a single framework, with a Vue-based frontend rendered through reusable components. The project distinguishes itself by integrating a Casbin RBAC engine for granular permission management across menus, buttons, and API endpoints, alongside automatic API documentation generation fro
Isolates each tenant into its own database instance for strict data separation across organizations.
vcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool
Separates workloads and data by tenant inside a shared cluster to meet compliance and security requirements.
Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil
Manages and removes temporary tables and databases created during the query optimization process.
JimuReport is an open-source reporting and dashboard engine designed to be embedded directly into Spring Boot applications. Its core identity centers on generating data reports and full-screen dashboards from natural language descriptions, eliminating the need for manual design. The platform also provides a conversational query interface that translates plain-language questions into database queries, returning results as tables and charts without requiring SQL knowledge. What distinguishes JimuReport is its integration of AI skills that can be installed with a single command, enabling report
Separates data per tenant so each tenant sees only its own records, preventing cross-tenant data leaks.
Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process
Isolates customer data in SaaS deployments using shared tables with identifiers or independent database schemas.
CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove
Manages the lifecycle, scaling, and recovery of PostgreSQL clusters through declarative Kubernetes manifests.
This project is a production-ready starter kit and boilerplate for building multi-tenant software-as-a-service applications using .NET and React. It provides a multi-tenant application framework and a cloud-native infrastructure kit designed to support scalable cloud services. The project distinguishes itself through a modular monolith architecture that organizes business logic into isolated bounded contexts to prevent code entanglement. It implements comprehensive SaaS identity management, including role-based access control, account impersonation, and strict tenant data isolation across the
Ensures strict tenant data isolation at the persistence layer to prevent cross-tenant data leaks.
This project is a reference implementation of a production-ready backend API built with Rust and the Actix-Web framework. It serves as a codebase demonstrating the development of a newsletter subscription service, encompassing the management of subscriber sign-ups, email confirmations, and campaign delivery. The project highlights a layered architecture that separates concerns into handler, service, and repository layers. It utilizes an actor-based concurrency model for handling HTTP requests and employs trait-based abstractions to decouple business logic from external dependencies, such as e
Utilizes dedicated, isolated database instances to validate end-to-end API behavior during integration testing.
Hibernate ORM هو أداة ربط كائني علائقي (ORM) للغة Java، وتطبيق كامل لواجهة Jakarta Persistence API. يعمل كطبقة تجريد لقواعد بيانات SQL تقوم بتحويل نماذج كائنات Java إلى مخططات قواعد بيانات علائقية لإدارة استمرارية البيانات ودورة حياتها. يتميز إطار العمل بنظام لعزل البيانات متعدد المستأجرين (multi-tenant) لفصل بيانات العملاء داخل مثيل قاعدة بيانات واحد. كما يحتوي على مُنشئ لمخطط قاعدة البيانات يقوم تلقائياً بإنتاج وتحديث الهياكل العلائقية بناءً على تعيينات الكيانات. يغطي النظام مجالات واسعة تشمل إدارة المعاملات، والتحكم في قفل التزامن، وتتبع البيانات الزمنية لسجلات التدقيق. ويوفر أدوات لتحسين جلب البيانات من خلال استراتيجيات الرسوم البيانية للكيانات (entity-graph)، ويدعم أنواع بيانات متقدمة مثل البيانات المتجهة (vector data) والحروف الوطنية.
Separates data for different customers using schema mapping and credential management within a single database instance.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Manages and secures data in isolated logical namespaces for multi-tenant resource management.
Lamp Cloud is a multi-tenant SaaS backend framework built on Java and Spring Cloud that provides a complete foundation for building enterprise-grade administration systems. Its core identity centers on supporting multiple tenant isolation strategies—including database-per-tenant, schema-per-tenant, and shared-table modes—that can be switched without altering business code, alongside a role-based access control system enforced at the gateway layer across all microservices. The framework distinguishes itself through comprehensive tenant lifecycle management tools that allow creating, configurin
Switches between database-per-tenant, schema-per-tenant, or shared-table isolation without changing business code.
Opal هو محرك توزيع سياسات ومزامنة بيانات تفويض في الوقت الفعلي. يعمل كطائرة إدارة لنشر ومراقبة محركات السياسات الموزعة، مثل OPA وCedar، عبر بنيات الخدمات المصغرة. يقوم المشروع بمركزة إدارة السياسات والبيانات أثناء نشر نقاط اتخاذ القرار اللامركزية. يتميز النظام بفصل كود السياسة، المدار عبر التحكم في الإصدار، عن بيانات التفويض المسترجعة من قواعد البيانات الخارجية وواجهات برمجة التطبيقات. يستخدم نموذج توزيع حالة قائم على pub/sub لدفع التحديثات الفورية للوكلاء عبر WebSockets وwebhooks، مما يضمن احتفاظ الوكلاء اللامركزيين بحالة متزامنة دون الاعتماد على الاستطلاع الدوري. تغطي المنصة قدرات واسعة النطاق بما في ذلك عزل سياسة المستأجرين المتعددين من خلال التوزيع ذي النطاق، ومراقبة صحة الوكيل مع تحقيقات الحيوية، وتنسيق محركات السياسات كخدمات جانبية (sidecars). كما يوفر آليات للتخزين المؤقت المحلي لدعم التشغيل دون اتصال بالإنترنت ومصادقة العميل الآمنة باستخدام رموز موقعة. يمكن نشر خادم الإدارة كحاوية أو داخل مجموعة Kubernetes باستخدام مدير حزم.
Separates authorization data for multiple tenants by assigning each a unique destination path in the policy engine.
هذا المشروع عبارة عن تطبيق مرجعي يوفر مجموعة من الأمثلة العملية لأنماط الوصول إلى البيانات وتجريدات المستودع داخل نظام Spring Data البيئي. يعمل كعرض شامل لتنفيذ طبقات بيانات متسقة عبر قواعد بيانات علائقية وغير علائقية مختلفة. يوضح المستودع بشكل خاص الاستمرارية متعددة المتاجر من خلال دمج قواعد البيانات العلائقية والوثائقية والمتجهية داخل تطبيق واحد. يتضمن تطبيقات للبحث المتجهي لإدارة التضمينات عالية الأبعاد وعمليات البحث عن التشابه عبر تقنيات قواعد بيانات مختلفة. تشمل القدرات الإضافية المغطاة الوصول التفاعلي إلى البيانات للعمليات غير المحظورة وتدفقات البيانات غير المتزامنة. يوفر المشروع أيضاً توجيهاً بشأن تحسين الصورة الأصلية لتحسين أداء بدء التشغيل واستخدام الذاكرة من خلال التجميع المسبق (ahead-of-time compilation). توضح الأمثلة أيضاً عزل البيانات متعدد المستأجرين، وتصميم واجهات برمجة تطبيقات مستودع البيانات، ودمج البحث الجغرافي والمكاني والبحث كامل النص.
Separates user data within shared database instances using distinct schemas or discriminator columns.
ihp هو إطار عمل ويب آمن من حيث الأنواع (type-safe) ومنسق تطبيقات متكامل مصمم لـ PostgreSQL. يعمل كإطار عمل للرسم من جانب الخادم (SSR) وORM آمن من حيث الأنواع يقوم تلقائيًا بإنشاء أنواع السجلات من مخططات SQL لضمان التحقق من الاستعلامات في وقت التجميع. تتميز المنصة بالتحقق من التوجيه، واستعلامات قاعدة البيانات، والقوالب في وقت التجميع لمنع الأعطال في وقت التشغيل. وتنفذ واجهات ويب في الوقت الفعلي باستخدام WebSockets لمزامنة البيانات الفورية وتستخدم الوسائط المتعددة التي يحركها الخادم (server-driven hypermedia) لتصحيح DOM الجزئي. يغطي إطار العمل مجموعة واسعة من الإمكانيات المتكاملة، بما في ذلك إدارة هوية المستخدم مع دعم مفاتيح المرور (passkeys) وOAuth، وطبقة تخزين بيانات كاملة مع عمليات ترحيل آلية، ونظام عرض واجهة مستخدم شامل مع قوالب HTML آمنة من حيث الأنواع. كما يوفر أدوات مدمجة لتطوير واجهة برمجة تطبيقات JSON، وتنفيذ مهام الخلفية غير المتزامنة، والتكامل المالي لبوابات الدفع. تتم إدارة بيئات الإنتاج من خلال نشر NixOS التصريحي للبنية التحتية القابلة للتكرار.
Verifies data persistence and retrieval logic by running tests against a live database instance.
GlusterFS هو نظام ملفات موزع محدد برمجياً وعنقود تخزين قابل للتوسع يجمع موارد القرص من خوادم متعددة في مساحة اسم عالمية واحدة. يعمل كمنصة تخزين موحدة، مما يسمح بتعريض نفس البيانات الأساسية من خلال واجهات تخزين الملفات، والكتل، والكائنات. يتميز النظام من خلال بنية لا مركزية تستخدم التجزئة المتسقة لتوزيع الملفات عبر عقد الشبكة دون خادم بيانات تعريف مركزي. يضمن سلامة البيانات وتوافرها باستخدام النسخ المتماثل ذاتي الإصلاح، والاتساق القائم على النصاب القانوني لمنع سيناريوهات انقسام الدماغ، والنسخ المتماثل الجغرافي غير المتزامن للتعافي من الكوارث عبر المواقع الجغرافية البعيدة. توفر المنصة تغطية واسعة للإمكانيات عبر تصدير التخزين متعدد البروتوكولات عبر NFS وSamba وiSCSI، بالإضافة إلى إدارة شاملة لوحدات التخزين بما في ذلك لقطات في الوقت المناسب، وحصص التخزين، وتوسيع السعة المرن. تتم إدارة الأمان من خلال تشفير TLS للبيانات أثناء النقل، وتكامل إدارة الهوية، والتحكم الدقيق في الوصول POSIX. البرنامج متاح كحزم ثنائية من خلال مستودعات المجتمع لتوزيعات Linux المختلفة.
Provides isolated storage environments associated with specific tenants to ensure strict data separation.
Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.
Implements role-based access control with independent credentials for different clusters to ensure multi-tenant isolation.
Mimir هي قاعدة بيانات للسلاسل الزمنية متعددة المستأجرين ومتجر مقاييس موزع مصمم للقياس عن بُعد القابل للتوسع. تعمل كخلفية متوافقة مع Prometheus، وتوفر تخزيناً طويل الأجل ومحرك استعلام قابل للتوسع لأحجام هائلة من بيانات السلاسل الزمنية. تم بناء النظام للمراقبة متعددة المستأجرين، حيث يعزل بيانات القياس عن بُعد وحدود الموارد للفرق أو المؤسسات المستقلة داخل مجموعة واحدة. ويضمن التوافر العالي والمتانة من خلال تقسيم البيانات ونسخها عبر مجموعة موزعة، مع استخدام تخزين الكائنات للاستمرارية للقضاء على تبعيات قواعد البيانات الخارجية. يغطي المشروع إمكانيات واسعة النطاق بما في ذلك تجميع المقاييس العالمية للتحليل عبر المناطق وتنفيذ الاستعلام الموزع باستخدام التوازي والتخزين المؤقت. كما يدمج أدوات المراقبة مثل التنبيه الموحد، والمراقبة الاصطناعية، وسير عمل حل الحوادث المدعوم بالذكاء الاصطناعي لتسريع استكشاف الأخطاء وإصلاحها. تشمل عناصر التحكم الإدارية حصص موارد المستأجر، وتجاوزات الموارد لكل مستخدم، وتقسيم العمل لضمان عزل عبء العمل.
Separates metrics and queries from different tenants within a single cluster to ensure strict data isolation.
Davinci هي منصة ذكاء أعمال وتصور بيانات تُستخدم لبناء لوحات معلومات وتقارير تفاعلية. تعمل كمنشئ لوحة معلومات قائم على SQL وخدمة تحليلات متعددة المستأجرين تتصل بقواعد البيانات عبر JDBC وملفات CSV لتحويل البيانات الخام إلى مكونات بصرية. تتميز المنصة بنموذج أمان دقيق، يتضمن أذونات على مستوى الصف والعمود مدمجة مع مصادقة LDAP و OAuth2. كما توفر أداة تصور مضمنة تسمح بإدراج مخططات ولوحات معلومات آمنة ومُعاملة في تطبيقات خارجية عبر روابط URL وإطارات. يغطي النظام مجموعة واسعة من القدرات، بما في ذلك نمذجة البيانات باستخدام قوالب SQL، ومحرك تخطيط السحب والإفلات للوحات المعلومات سريعة الاستجابة، ومجموعة واسعة من أنواع التصور مثل مخططات Sankey، ومخططات الرادار، والخرائط الجغرافية. كما يتضمن أتمتة لجدولة التقارير القائمة على البريد الإلكتروني ويستخدم التخزين المؤقت للقيمة الرئيسية لتحسين أداء الاستعلام.
Maintains strict data and resource boundaries by grouping users, roles, and projects into isolated organizational units.