Awesome GitHub RepositoriesBackup Storage Backends

This project is a command-line utility designed for secure, content-addressable data archiving. It functions as an encrypted backup tool that stores data as deduplicated chunks, ensuring that every piece of information is identified by a cryptographic hash to maintain integrity across all backups. By applying strong encryption and message authentication codes to both data and metadata, the software prevents unauthorized access and detects potential tampering. The tool distinguishes itself through a backend-agnostic storage abstraction that allows users to maintain repositories across diverse

ArchiveBox is a self-hosted web archiving system designed to capture and preserve permanent static copies of webpages, media, and PDFs on personal infrastructure. It functions as a digital content curator and personal web archive manager, allowing users to import URLs from bookmarks, RSS feeds, and browser history to create a centralized, searchable knowledge base. The project is distinguished by its ability to archive private, paywalled, or login-protected content using browser cookies and authenticated session persistence. It ensures long-term availability by saving pages in multiple concur

VictoriaMetrics is a high-performance, scalable time series database and observability platform designed for long-term storage and analysis of metric, log, and trace data. It functions as a unified backend for monitoring ecosystems, offering full compatibility with industry-standard protocols and query languages. The system is built to handle massive data volumes through a distributed architecture that supports horizontal scaling and efficient data lifecycle management. The platform distinguishes itself through a storage engine that utilizes consistent hashing for data sharding and log-struct

Duplicati is a self-hosted backup server designed to perform encrypted, incremental, and compressed backups to a wide range of local, network, and cloud-based storage providers. It functions as a background service that automates recurring data protection tasks, ensuring that only changed data blocks are stored to maximize efficiency and minimize bandwidth usage. The project distinguishes itself through a centralized management console that allows for the orchestration of multiple distributed backup agents from a single web-based dashboard. It supports multi-tenant management, enabling the or

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

This project is a web-based management interface designed for the administration, monitoring, and configuration of Nginx server instances. It functions as a centralized platform for managing reverse proxy settings, traffic routing, and server lifecycles, providing a visual dashboard to replace manual configuration file editing. The platform distinguishes itself through integrated infrastructure automation and observability tools. It supports distributed environments by synchronizing configuration states across multiple nodes and containerized services, while offering artificial intelligence a

Sovereign is a self-hosted cloud orchestrator and infrastructure-as-code toolkit designed to establish personal data sovereignty. It provides a suite of automation scripts to deploy a private cloud infrastructure consisting of open-source services for data storage, communication, and web hosting on private hardware. The project focuses on the independent management of digital assets through the deployment of private email servers, git hosting, and file synchronization systems. It distinguishes itself by automating the full stack of server administration, from initial Linux server automation t

Databasus is a self-hosted backup platform that automates PostgreSQL backups, verifies their restorability, and stores them across multiple destinations while managing team access with role-based permissions. It combines on-the-fly AES-256-GCM encryption, cron-driven scheduling, job-queue-based verification, multi-destination storage, WAL streaming, throwaway container restore testing, and workspace-based role access control into a unified backup system. The platform distinguishes itself through automatic backup verification that restores each backup into a temporary database container for in

Sink is a self-hosted link management platform that combines URL shortening with click analytics and geographic tracking. It provides a deployable system for creating, editing, and organizing short links, with built-in tools for measuring engagement through real-time click event collection and visitor location data. The platform distinguishes itself through AI-powered slug generation that produces human-readable short link identifiers by analyzing target page content, replacing random string generation. It supports geo-aware request routing that redirects visitors to different destinations ba

This is a Laravel package that creates and manages automated backups of application files and databases. It orchestrates backup, cleanup, and notification steps as a configurable pipeline, compressing selected directories and database dumps into zip archives that can be stored on any Laravel filesystem disk. The package provides a configurable retention policy engine that prunes old backups based on age, count, or size thresholds, and includes a health-check monitoring system that verifies backup recency and storage capacity. It fires success, failure, and health-check events that route notif

Duplicacy is a cross-platform, deduplicated backup tool that stores encrypted snapshots to local disks and cloud storage services. It operates through both a command-line executable and a web-based graphical interface, enabling backup, restore, and repository management in scripts or through a browser. The software splits files into variable-size chunks identified by their hash, enabling cross-machine deduplication without a central database or chunk index. Each backup creates an immutable snapshot that stores file metadata and chunk references, supporting incremental updates and point-in-tim

Webmin is a web-based administration interface for Unix systems. It provides a centralized console for managing the full range of server administration tasks — users and groups, software packages, storage, network configuration, system services, and security — all through a browser. Its modular architecture allows separate modules to handle databases (MySQL, MariaDB, PostgreSQL), web servers (Apache), DNS (BIND), email (Sendmail, Dovecot), file sharing (Samba, NFS), and more, with a unified access control system that restricts what each administrator can see and do. What sets Webmin apart is

Backrest is a web-based management interface for Restic that orchestrates scheduled snapshots, manages offsite repositories, and provides a browser for file restoration. It serves as a scheduled backup orchestrator and remote storage manager to maintain data repositories across various backends. The system distinguishes itself through a backup lifecycle automation framework that triggers shell scripts and external notifications based on backup events. It includes a snapshot restoration browser that allows for exploring point-in-time snapshots to recover specific directories to local paths. T

Pigsty est une plateforme d'orchestration d'infrastructure de base de données complète conçue pour automatiser le cycle de vie complet des clusters PostgreSQL à haute disponibilité. Il fonctionne comme un framework d'infrastructure en tant que code qui gère la coordination des clusters, le provisionnement des nœuds et la découverte de services via des playbooks idempotents. En intégrant des mécanismes de consensus distribués, la plateforme assure un basculement automatisé et une application cohérente de l'état à travers divers environnements, y compris le matériel nu et l'infrastructure virtualisée. La plateforme se distingue par une suite robuste de capacités opérationnelles qui s'étendent au-delà de la gestion de base de données standard. Elle dispose d'un pipeline d'observabilité intégré qui agrège les métriques, les logs et les traces dans des tableaux de bord centralisés pour une surveillance des performances en temps réel et une analyse diagnostique. De plus, elle fournit un framework de migration qui émule les protocoles filaires propriétaires et la syntaxe SQL, permettant l'intégration de charges de travail de base de données d'entreprise héritées dans des environnements relationnels modernes. Le système couvre une large surface fonctionnelle, y compris la gestion avancée du stockage avec clonage par copie sur écriture pour un déploiement rapide, et l'orchestration multi-base de données qui coordonne les moteurs relationnels avec la mise en cache et le stockage d'objets. Il intègre également le renforcement de la sécurité, la sauvegarde et la récupération automatisées, et le routage du trafic via des proxys en couches pour découpler les connexions client de la topologie de cluster sous-jacente. Le projet est distribué sous forme de modèle de miroir de package autonome, permettant un déploiement et une gestion des dépendances cohérents dans des environnements sécurisés ou isolés.

KubeOperator est une plateforme complète de gestion de cluster Kubernetes, un orchestrateur d'infrastructure et un gestionnaire multi-cluster. Il fonctionne comme une distribution Kubernetes d'entreprise conçue pour automatiser le déploiement, la mise à l'échelle et la gestion du cycle de vie des clusters de production sur diverses plateformes cloud et machines physiques. La plateforme se distingue par des capacités spécialisées pour les environnements isolés (air-gapped), y compris un moteur d'installation hors ligne qui génère des archives logicielles et gère des registres privés pour des déploiements sécurisés sans internet. Elle fournit également un tableau de bord centralisé pour les opérations de flotte, permettant l'importation de clusters externes et l'orchestration de l'infrastructure à travers différentes régions géographiques et zones de disponibilité. Le système couvre une large surface opérationnelle, y compris le provisionnement automatisé de machines virtuelles, le suivi de l'inventaire matériel et la gestion déclarative du cycle de vie pour le patching et la mise à l'échelle. Il intègre des services de sauvegarde et de récupération, un contrôle d'accès basé sur les rôles avec synchronisation LDAP, et une surveillance complète de la santé et des métriques de performance du cluster. Les tâches administratives et les opérations de cluster sont exécutées via une interface web.

Ce projet est un orchestrateur de sauvegarde Unix utilisé pour modéliser et exécuter la protection des données full-stack. Il fonctionne comme un système de gestion pour les dumps de base de données, l'archivage chiffré, la rotation des versions et le transport vers un stockage distant. Le système se distingue en orchestrant des outils système natifs pour diverses bases de données, incluant PostgreSQL, MySQL, MongoDB, Redis et Riak. Il emploie un workflow d'archivage sécurisé qui combine la compression et le chiffrement en utilisant GPG, OpenSSL ou AES avant de transporter les paquets vers des services compatibles S3, Dropbox ou des serveurs distants via SFTP et RSync. Les capacités étendues incluent l'automatisation de la synchronisation des données via des transferts delta et des téléchargements par blocs, ainsi qu'une gestion de rétention avec état pour faire pivoter et élaguer les archives historiques. L'orchestrateur dispose également d'un système de notification multicanal qui s'intègre avec l'email, HTTP POST, PagerDuty et diverses plateformes de chat pour alerter les administrateurs des résultats des opérations. Les utilisateurs peuvent définir ces workflows en utilisant un modèle basé sur la configuration qui prend en charge l'injection de variables dynamiques et la vérification de la syntaxe.

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

This project is a Kubernetes operator designed for deploying and managing production PostgreSQL database clusters using declarative configurations. It functions as a controller that synchronizes the actual state of database clusters with a desired state, providing a system for high availability orchestration, automated backup and recovery, and containerized database administration. The operator distinguishes itself through a comprehensive data protection suite that supports point-in-time recovery, multi-mode backups to cloud object storage, and cluster cloning. It ensures continuous availabil

pgBackRest est un outil de sauvegarde et de restauration distribué pour PostgreSQL. Il fonctionne comme un moteur de sauvegarde incrémentale et un gestionnaire de récupération à un point dans le temps, permettant la création de sauvegardes complètes, différentielles et incrémentales à travers des dépôts locaux et distants. Le système se distingue par ses sauvegardes incrémentales au niveau bloc, qui réduisent le stockage et le temps de transfert en enregistrant uniquement les données modifiées. Il s'intègre avec le stockage d'objets compatible S3 via HTTP et utilise le traitement parallèle pour maximiser le débit pendant les opérations de sauvegarde et de restauration. L'outil couvre des capacités complètes de reprise après sinistre, incluant l'archivage des journaux de transactions (WAL) pour la restauration à un point dans le temps et la vérification d'intégrité basée sur des sommes de contrôle pour détecter la corruption des données. Il fournit également une automatisation du cycle de vie des sauvegardes via une rotation pilotée par politique et sécurise les données via le chiffrement du dépôt et des protocoles de transport sécurisés.

wal-g est un outil de sauvegarde cloud de base de données et un archiveur de journaux de transactions (write-ahead log) conçu pour la reprise après sinistre et la récupération à un instant T. Il archive l'état de la base de données et les journaux de transactions vers des fournisseurs de stockage cloud pour assurer la durabilité des données à long terme. Le projet fournit un gestionnaire pour compresser, chiffrer et élaguer les sauvegardes de base de données stockées dans le stockage objet cloud. Il permet spécifiquement la restauration d'une base de données à un horodatage spécifique en récupérant les sauvegardes de base et en rejouant les journaux de transactions. Les capacités de l'outil couvrent la sauvegarde et la restauration multi-moteurs, incluant la génération de sauvegardes complètes et delta. Il gère le cycle de vie de la sauvegarde via le suivi d'inventaire et des politiques d'élagage automatisées, et inclut des utilitaires pour vérifier l'intégrité des archives de journaux et des fichiers de table. Un proxy local est disponible pour émuler les API de stockage cloud pour tester les opérations de sauvegarde et de restauration.