10 repository-uri
Tools for transferring data between different persistence backends.
Distinct from Pluggable Storage Backends: Candidates focus on configuration and adapters, but not the actual process of migrating data between backends.
Explore 10 awesome GitHub repositories matching data & databases · Storage Migration. Refine with filters or upvote what's useful.
kops is a Kubernetes cluster provisioner and lifecycle manager designed to automate the creation, maintenance, and destruction of production-grade clusters on cloud infrastructure. It functions as a declarative infrastructure manager, synchronizing the live state of a cluster with versioned manifests stored in remote object storage to ensure idempotent operations. The project distinguishes itself by offering comprehensive automation for the entire cluster lifecycle, including high-availability control plane deployment, incremental rolling updates, and automated version upgrades. It also serve
Moves cluster configuration and state files between different cloud storage buckets or providers.
tdl is a command-line tool for Telegram account automation, media management, and data archiving. It provides a programmatic interface for downloading and uploading files, forwarding messages, and exporting chat history, member lists, and media into structured JSON files. The project distinguishes itself through a session management system that isolates multiple account identities using unique namespaces. It features expression-based routing for messages and uploads, allowing users to direct content to specific destination chats using custom logic and dynamic caption generation. The tool cov
Transfers existing stored data from one storage backend to another.
Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.
Reads all storage records from the current location and writes them to a new location or engine.
Cortex is an open-source, horizontally scalable metrics platform that ingests, stores, and queries Prometheus-compatible time-series data with multi-tenant isolation. It accepts metrics via Prometheus remote write and OpenTelemetry, executes PromQL queries against both recent and historical data, and provides a Prometheus-compatible alerting and recording rule engine with an integrated Alertmanager. The system is built as a set of independently scalable microservices that use hash-ring-based sharding, gossip-based cluster membership, and tenant-aware object storage to distribute workloads acro
Switches a cluster's storage backend from chunks to blocks by gradually replacing ingesters.
Kvrocks este o bază de date NoSQL bazată pe disc și un magazin distribuit de tip cheie-valoare care utilizează motorul de stocare RocksDB pentru a persista seturi mari de date pe disc fizic. Este concepută ca o bază de date compatibilă cu Redis, utilizând protocolul standard de comunicare Redis pentru a asigura interoperabilitatea cu bibliotecile și instrumentele client existente. Proiectul se distinge prin combinarea unui model de stocare persistentă pe disc cu capabilități avansate de regăsire, inclusiv căutare vectorială pentru interogări k-nearest neighbor, indexare pentru căutare full-text și execuția interogărilor geospațiale. Suportă clustering distribuit cu distribuția datelor bazată pe sloturi și gestionarea topologiei pentru a permite scalarea orizontală și disponibilitatea ridicată. Sistemul acoperă o gamă largă de tipuri de stocare a datelor, inclusiv documente JSON, stream-uri, seturi sortate, hash map-uri și bitmap-uri. Oferă instrumente cuprinzătoare de gestionare a datelor, cum ar fi tranzacții atomice, replicare bazată pe log-uri și structuri de date probabilistice pentru estimarea cardinalității și verificarea apartenenței. În plus, include scripting pe partea de server, mesagerie pub/sub și monitorizare detaliată pentru sănătatea serverului și performanța motorului de stocare.
Moves datasets between memory-resident and disk-based storage backends.
wal-g este un instrument de backup în cloud pentru baze de date și un arhivator de log-uri write-ahead conceput pentru recuperarea în caz de dezastru și recuperarea la un moment dat (point-in-time). Arhivează starea bazei de date și log-urile de tranzacție către furnizorii de stocare în cloud pentru a asigura durabilitatea datelor pe termen lung. Proiectul oferă un manager pentru comprimarea, criptarea și curățarea backup-urilor bazei de date stocate în stocarea de obiecte în cloud. Acesta permite în mod specific restaurarea unei baze de date la un timestamp specific prin preluarea backup-urilor de bază și reluarea log-urilor de tranzacție. Capabilitățile instrumentului acoperă backup-ul și restaurarea multi-motor, inclusiv generarea de backup-uri complete și delta. Gestionează ciclul de viață al backup-ului prin urmărirea inventarului și politici automate de curățare și include utilitare pentru verificarea integrității arhivelor de log-uri și a fișierelor de tabel. Un proxy local este disponibil pentru a emula API-urile de stocare în cloud pentru testarea operațiunilor de backup și restaurare.
Moves or copies database backups and logs between different configured storage backends.
Ombi este un sistem de gestionare a cererilor media care coordonează descoperirea conținutului între utilizatori, servere media și manageri de descărcare. Acesta acționează ca un strat middleware pentru a automatiza procesul de solicitare, aprobare și achiziționare a filmelor, muzicii și emisiunilor TV. Proiectul se diferențiază prin faptul că acționează ca un strat de integrare care sincronizează bibliotecile și conturile de utilizator pe mai multe instanțe de server media. Dispune de un orchestrator de cereri de conținut care suportă aprobarea automată bazată pe voturi și capacitatea de a importa cereri active direct din listele de urmărire externe. Platforma acoperă o gamă largă de capabilități, inclusiv gateway-uri de notificare pe mai multe canale pentru alerte prin Discord, Telegram și e-mail, precum și controlul accesului bazat pe roluri pentru gestionarea permisiunilor utilizatorilor. Oferă instrumente cuprinzătoare pentru administrarea serverului media, gestionarea fluxului de lucru automatizat și integrarea flexibilă a identității prin OAuth și furnizori terți. Sistemul suportă stocarea persistentă a datelor folosind SQLite, MySQL sau MariaDB.
Moves existing application data from a local SQLite file to a MySQL or MariaDB server.
Flipper is a runtime feature toggle system and library for Ruby applications. It enables the management of application features by toggling functionality on or off without the need to deploy new code. The system provides a mechanism for controlling code execution through boolean states, actor-based access, and percentage-based traffic rollouts. It includes a management interface for modifying flag states in real-time and a central registry for tracking available capabilities. The project covers a broad range of operational capabilities, including environment-specific flag isolation, configur
Provides utilities for copying feature configurations between different storage backends during infrastructure transitions.
Papra is a self-hosted document management system designed for digital archiving, organization, and retrieval. It serves as a centralized platform for storing files with a focus on security, providing an encrypted file archive using AES-256-GCM and a programmatic interface for managing documents and metadata via a REST API, SDK, and command line tools. The system distinguishes itself through an automated document ingestion engine that imports files via email forwarding, monitored folders, and webhook listeners. It further enhances discoverability by acting as an OCR document indexer, extracti
Provides tools to migrate documents between different storage backends while preserving encryption and security.
Filegator is a web-based file manager and self-hosted file sharing portal. It functions as a cloud storage gateway that allows users to organize, upload, and download files across local disks and various cloud storage providers through a single unified interface. The system features a multi-backend authentication provider capable of verifying identities via JSON files, databases, or external directory services. It includes a role-based access control system that manages user permissions, assigns home folders, and restricts access to specific files and system routes. The platform provides cap
Copies data from a source provider to a replica in real-time to transition between storage backends.