Awesome GitHub RepositoriesRedis Data Migration Tools

redis-rdb-tools est une collection d'utilitaires spécialisés pour analyser, convertir et parser les fichiers de dump binaires de bases de données Redis. Il fonctionne comme un parser et un convertisseur qui extrait les clés et les valeurs de ces snapshots pour faciliter la récupération, la migration et l'analyse des données. Le projet se distingue par ses capacités de profilage mémoire et de manipulation de snapshots. Il inclut un analyseur de mémoire qui génère des rapports de consommation au niveau des clés pour identifier les inefficacités de stockage, ainsi qu'un utilitaire de manipulation capable de fusionner plusieurs fichiers de dump ou de diviser des snapshots uniques en parties plus petites. L'ensemble d'outils couvre un large éventail d'opérations sur les données, notamment la conversion de dumps binaires en JSON, la génération de commandes de protocole pour la réimportation de données et l'exportation d'enregistrements vers des bases de données relationnelles ou des moteurs de recherche. Il fournit également des utilitaires pour comparer différents snapshots de base de données afin d'identifier les changements au fil du temps et filtrer les clés à l'aide d'expressions régulières pendant le processus de parsing.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a

Kvrocks est une base de données NoSQL basée sur disque et un magasin clé-valeur distribué qui exploite le moteur de stockage RocksDB pour persister de grands jeux de données sur disque physique. Il est conçu pour être une base de données compatible avec Redis, utilisant le protocole de communication standard de Redis pour assurer l'interopérabilité avec les bibliothèques clientes et les outils existants. Le projet se distingue en combinant un modèle de stockage persistant sur disque avec des capacités de récupération avancées, notamment la recherche vectorielle pour les requêtes k-plus proches voisins, l'indexation de recherche plein texte et l'exécution de requêtes géospatiales. Il prend en charge le clustering distribué avec une distribution des données basée sur des slots et une gestion de la topologie pour permettre une mise à l'échelle horizontale et une haute disponibilité. Le système couvre un large éventail de types de stockage de données, y compris les documents JSON, les flux, les ensembles triés, les hash maps et les bitmaps. Il fournit des outils complets de gestion des données tels que des transactions atomiques, la réplication basée sur les logs et des structures de données probabilistes pour l'estimation de cardinalité et la vérification d'appartenance. De plus, il inclut des scripts côté serveur, la messagerie pub/sub et une surveillance détaillée de la santé du serveur et des performances du moteur de stockage.