11 रिपॉजिटरी
Tools for transferring data between different persistence backends.
Distinct from Pluggable Storage Backends: Candidates focus on configuration and adapters, but not the actual process of migrating data between backends.
Explore 11 awesome GitHub repositories matching data & databases · Storage Migration. Refine with filters or upvote what's useful.
kops is a Kubernetes cluster provisioner and lifecycle manager designed to automate the creation, maintenance, and destruction of production-grade clusters on cloud infrastructure. It functions as a declarative infrastructure manager, synchronizing the live state of a cluster with versioned manifests stored in remote object storage to ensure idempotent operations. The project distinguishes itself by offering comprehensive automation for the entire cluster lifecycle, including high-availability control plane deployment, incremental rolling updates, and automated version upgrades. It also serve
Moves cluster configuration and state files between different cloud storage buckets or providers.
tdl is a command-line tool for Telegram account automation, media management, and data archiving. It provides a programmatic interface for downloading and uploading files, forwarding messages, and exporting chat history, member lists, and media into structured JSON files. The project distinguishes itself through a session management system that isolates multiple account identities using unique namespaces. It features expression-based routing for messages and uploads, allowing users to direct content to specific destination chats using custom logic and dynamic caption generation. The tool cov
Transfers existing stored data from one storage backend to another.
Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.
Reads all storage records from the current location and writes them to a new location or engine.
Cortex is an open-source, horizontally scalable metrics platform that ingests, stores, and queries Prometheus-compatible time-series data with multi-tenant isolation. It accepts metrics via Prometheus remote write and OpenTelemetry, executes PromQL queries against both recent and historical data, and provides a Prometheus-compatible alerting and recording rule engine with an integrated Alertmanager. The system is built as a set of independently scalable microservices that use hash-ring-based sharding, gossip-based cluster membership, and tenant-aware object storage to distribute workloads acro
Switches a cluster's storage backend from chunks to blocks by gradually replacing ingesters.
Kvrocks एक डिस्क-आधारित NoSQL डेटाबेस और वितरित की-वैल्यू स्टोर है जो बड़े डेटासेट को भौतिक डिस्क पर बनाए रखने के लिए RocksDB स्टोरेज इंजन का लाभ उठाता है। इसे Redis-संगत डेटाबेस होने के लिए डिज़ाइन किया गया है, जो मौजूदा क्लाइंट लाइब्रेरी और टूल के साथ इंटरऑपरेबिलिटी सुनिश्चित करने के लिए मानक Redis संचार प्रोटोकॉल का उपयोग करता है। यह प्रोजेक्ट डिस्क-पर्सिस्टेंट स्टोरेज मॉडल को उन्नत पुनर्प्राप्ति क्षमताओं के साथ जोड़कर खुद को अलग करता है, जिसमें k-नियरेस्ट नेबर क्वेरी के लिए वेक्टर सर्च, फुल-टेक्स्ट सर्च इंडेक्सिंग और जियोस्पेशियल क्वेरी निष्पादन शामिल है। यह क्षैतिज स्केलिंग और उच्च उपलब्धता को सक्षम करने के लिए स्लॉट-आधारित डेटा वितरण और टोपोलॉजी प्रबंधन के साथ वितरित क्लस्टरिंग का समर्थन करता है। सिस्टम JSON दस्तावेजों, स्ट्रीम, सॉर्टेड सेट्स, हैश मैप्स और बिटमैप्स सहित डेटा स्टोरेज प्रकारों की एक विस्तृत श्रृंखला को कवर करता है। यह परमाणु लेनदेन (atomic transactions), लॉग-आधारित प्रतिकृति, और कार्डिनैलिटी अनुमान और सदस्यता जांच के लिए संभाव्य डेटा संरचनाओं जैसे व्यापक डेटा प्रबंधन टूल प्रदान करता है। इसके अतिरिक्त, इसमें सर्वर-साइड स्क्रिप्टिंग, पब/सब मैसेजिंग और सर्वर स्वास्थ्य और स्टोरेज इंजन प्रदर्शन के लिए विस्तृत मॉनिटरिंग शामिल है।
Moves datasets between memory-resident and disk-based storage backends.
WAL-G एक डेटाबेस क्लाउड बैकअप टूल और राइट-अहेड लॉग आर्काइवर है, जिसे डिजास्टर रिकवरी और पॉइंट-इन-टाइम रिकवरी के लिए डिज़ाइन किया गया है। यह डेटा की दीर्घकालिक सुरक्षा सुनिश्चित करने के लिए डेटाबेस स्टेट और ट्रांजेक्शन लॉग को क्लाउड स्टोरेज प्रोवाइडर्स में आर्काइव करता है। यह प्रोजेक्ट क्लाउड ऑब्जेक्ट स्टोरेज में संग्रहीत डेटाबेस बैकअप को कंप्रेस, एन्क्रिप्ट और प्रून (prune) करने के लिए एक मैनेजर प्रदान करता है। यह विशेष रूप से बेस बैकअप को फेच करके और ट्रांजेक्शन लॉग को रीप्ले करके डेटाबेस को एक विशिष्ट टाइमस्टैम्प पर रिस्टोर करने में सक्षम बनाता है। इस टूल की क्षमताओं में मल्टी-इंजन बैकअप और रिस्टोरेशन शामिल है, जिसमें फुल और डेल्टा बैकअप का निर्माण भी शामिल है। यह इन्वेंट्री ट्रैकिंग और स्वचालित प्रूनिंग नीतियों के माध्यम से बैकअप लाइफसाइकिल का प्रबंधन करता है, और इसमें लॉग आर्काइव और टेबल फाइलों की अखंडता को सत्यापित करने के लिए यूटिलिटीज शामिल हैं। बैकअप और रिस्टोर ऑपरेशंस के परीक्षण के लिए क्लाउड स्टोरेज API को एमुलेट करने हेतु एक लोकल प्रॉक्सी भी उपलब्ध है।
Moves or copies database backups and logs between different configured storage backends.
Ombi एक मीडिया अनुरोध प्रबंधन प्रणाली है जो उपयोगकर्ताओं, मीडिया सर्वर और डाउनलोड मैनेजर के बीच कंटेंट डिस्कवरी का समन्वय करती है। यह फिल्मों, संगीत और टीवी शो का अनुरोध करने, अनुमोदित करने और प्राप्त करने की प्रक्रिया को स्वचालित करने के लिए एक मिडलवेयर लेयर के रूप में कार्य करती है। यह प्रोजेक्ट एक एकीकरण लेयर के रूप में कार्य करके खुद को अलग करता है जो कई मीडिया सर्वर इंस्टेंस में लाइब्रेरी और उपयोगकर्ता खातों को सिंक्रनाइज़ करता है। इसमें एक कंटेंट रिक्वेस्ट ऑर्केस्ट्रेटर है जो वोटिंग-आधारित स्वचालित अनुमोदन और बाहरी वॉचलिस्ट से सीधे सक्रिय अनुरोधों को आयात करने की क्षमता का समर्थन करता है। यह प्लेटफ़ॉर्म Discord, Telegram और ईमेल के माध्यम से अलर्ट के लिए मल्टी-चैनल नोटिफिकेशन गेटवे, और उपयोगकर्ता अनुमतियों को प्रबंधित करने के लिए भूमिका-आधारित एक्सेस कंट्रोल सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मीडिया सर्वर प्रशासन, स्वचालित वर्कफ़्लो प्रबंधन और OAuth और तृतीय-पक्ष प्रदाताओं के माध्यम से लचीले पहचान एकीकरण के लिए व्यापक उपकरण प्रदान करती है। यह सिस्टम SQLite, MySQL, या MariaDB का उपयोग करके पर्सिस्टेंट डेटा स्टोरेज का समर्थन करता है।
Moves existing application data from a local SQLite file to a MySQL or MariaDB server.
Flipper Ruby एप्लिकेशन्स के लिए एक रनटाइम फीचर टॉगल सिस्टम और लाइब्रेरी है। यह नया कोड डिप्लॉय किए बिना ही फीचर्स को ऑन या ऑफ करके एप्लिकेशन की कार्यक्षमता को मैनेज करने की सुविधा देता है। यह सिस्टम बूलियन स्टेट्स, एक्टर-आधारित एक्सेस और प्रतिशत-आधारित ट्रैफिक रोलआउट के जरिए कोड एग्जीक्यूशन को कंट्रोल करने का मैकेनिज्म प्रदान करता है। इसमें फ्लैग स्टेट्स को रियल-टाइम में बदलने के लिए एक मैनेजमेंट इंटरफेस और उपलब्ध क्षमताओं को ट्रैक करने के लिए एक सेंट्रल रजिस्ट्री शामिल है। यह प्रोजेक्ट एनवायरनमेंट-स्पेसिफिक फ्लैग आइसोलेशन, डिप्लॉयमेंट टारगेट्स के बीच कॉन्फ़िगरेशन सिंक्रोनाइज़ेशन और बदलावों को ट्रैक करने के लिए ऑडिट लॉगिंग जैसी कई ऑपरेशनल क्षमताएं कवर करता है। यह एडाप्टर-आधारित लेयर के जरिए विभिन्न स्टोरेज बैकएंड्स का समर्थन करता है और लुकअप लेटेंसी कम करने के लिए कैशिंग रणनीति का उपयोग करता है। अतिरिक्त फंक्शनैलिटी में शेड्यूल्ड फीचर एक्टिवेशन, कैनरी रिलीज़ मैनेजमेंट और Slack इंटीग्रेशन के जरिए ऑटोमेटेड अलर्ट्स शामिल हैं।
Provides utilities for copying feature configurations between different storage backends during infrastructure transitions.
Papra is a self-hosted document management system designed for digital archiving, organization, and retrieval. It serves as a centralized platform for storing files with a focus on security, providing an encrypted file archive using AES-256-GCM and a programmatic interface for managing documents and metadata via a REST API, SDK, and command line tools. The system distinguishes itself through an automated document ingestion engine that imports files via email forwarding, monitored folders, and webhook listeners. It further enhances discoverability by acting as an OCR document indexer, extracti
Provides tools to migrate documents between different storage backends while preserving encryption and security.
Filegator is a web-based file manager and self-hosted file sharing portal. It functions as a cloud storage gateway that allows users to organize, upload, and download files across local disks and various cloud storage providers through a single unified interface. The system features a multi-backend authentication provider capable of verifying identities via JSON files, databases, or external directory services. It includes a role-based access control system that manages user permissions, assigns home folders, and restricts access to specific files and system routes. The platform provides cap
Copies data from a source provider to a replica in real-time to transition between storage backends.
Owlcache is a distributed, in-memory key-value cache server written in Go. It provides a high-performance storage engine designed to maintain frequently accessed data in volatile memory, facilitating low-latency access and accelerated application performance across distributed environments. The system distinguishes itself through decentralized cluster management and real-time data propagation. It utilizes gossip-based synchronization to maintain state consistency across nodes and supports active-passive coordination to ensure high availability. The platform integrates with diverse application
Supports the migration and ingestion of datasets from existing remote caching systems into the local environment.