Awesome GitHub RepositoriesBackup Storage Backends

This project is a command-line utility designed for secure, content-addressable data archiving. It functions as an encrypted backup tool that stores data as deduplicated chunks, ensuring that every piece of information is identified by a cryptographic hash to maintain integrity across all backups. By applying strong encryption and message authentication codes to both data and metadata, the software prevents unauthorized access and detects potential tampering. The tool distinguishes itself through a backend-agnostic storage abstraction that allows users to maintain repositories across diverse

ArchiveBox is a self-hosted web archiving system designed to capture and preserve permanent static copies of webpages, media, and PDFs on personal infrastructure. It functions as a digital content curator and personal web archive manager, allowing users to import URLs from bookmarks, RSS feeds, and browser history to create a centralized, searchable knowledge base. The project is distinguished by its ability to archive private, paywalled, or login-protected content using browser cookies and authenticated session persistence. It ensures long-term availability by saving pages in multiple concur

VictoriaMetrics is a high-performance, scalable time series database and observability platform designed for long-term storage and analysis of metric, log, and trace data. It functions as a unified backend for monitoring ecosystems, offering full compatibility with industry-standard protocols and query languages. The system is built to handle massive data volumes through a distributed architecture that supports horizontal scaling and efficient data lifecycle management. The platform distinguishes itself through a storage engine that utilizes consistent hashing for data sharding and log-struct

Duplicati is a self-hosted backup server designed to perform encrypted, incremental, and compressed backups to a wide range of local, network, and cloud-based storage providers. It functions as a background service that automates recurring data protection tasks, ensuring that only changed data blocks are stored to maximize efficiency and minimize bandwidth usage. The project distinguishes itself through a centralized management console that allows for the orchestration of multiple distributed backup agents from a single web-based dashboard. It supports multi-tenant management, enabling the or

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

This project is a web-based management interface designed for the administration, monitoring, and configuration of Nginx server instances. It functions as a centralized platform for managing reverse proxy settings, traffic routing, and server lifecycles, providing a visual dashboard to replace manual configuration file editing. The platform distinguishes itself through integrated infrastructure automation and observability tools. It supports distributed environments by synchronizing configuration states across multiple nodes and containerized services, while offering artificial intelligence a

Sovereign is a self-hosted cloud orchestrator and infrastructure-as-code toolkit designed to establish personal data sovereignty. It provides a suite of automation scripts to deploy a private cloud infrastructure consisting of open-source services for data storage, communication, and web hosting on private hardware. The project focuses on the independent management of digital assets through the deployment of private email servers, git hosting, and file synchronization systems. It distinguishes itself by automating the full stack of server administration, from initial Linux server automation t

Databasus is a self-hosted backup platform that automates PostgreSQL backups, verifies their restorability, and stores them across multiple destinations while managing team access with role-based permissions. It combines on-the-fly AES-256-GCM encryption, cron-driven scheduling, job-queue-based verification, multi-destination storage, WAL streaming, throwaway container restore testing, and workspace-based role access control into a unified backup system. The platform distinguishes itself through automatic backup verification that restores each backup into a temporary database container for in

Sink is a self-hosted link management platform that combines URL shortening with click analytics and geographic tracking. It provides a deployable system for creating, editing, and organizing short links, with built-in tools for measuring engagement through real-time click event collection and visitor location data. The platform distinguishes itself through AI-powered slug generation that produces human-readable short link identifiers by analyzing target page content, replacing random string generation. It supports geo-aware request routing that redirects visitors to different destinations ba

This is a Laravel package that creates and manages automated backups of application files and databases. It orchestrates backup, cleanup, and notification steps as a configurable pipeline, compressing selected directories and database dumps into zip archives that can be stored on any Laravel filesystem disk. The package provides a configurable retention policy engine that prunes old backups based on age, count, or size thresholds, and includes a health-check monitoring system that verifies backup recency and storage capacity. It fires success, failure, and health-check events that route notif

Duplicacy is a cross-platform, deduplicated backup tool that stores encrypted snapshots to local disks and cloud storage services. It operates through both a command-line executable and a web-based graphical interface, enabling backup, restore, and repository management in scripts or through a browser. The software splits files into variable-size chunks identified by their hash, enabling cross-machine deduplication without a central database or chunk index. Each backup creates an immutable snapshot that stores file metadata and chunk references, supporting incremental updates and point-in-tim

Webmin is a web-based administration interface for Unix systems. It provides a centralized console for managing the full range of server administration tasks — users and groups, software packages, storage, network configuration, system services, and security — all through a browser. Its modular architecture allows separate modules to handle databases (MySQL, MariaDB, PostgreSQL), web servers (Apache), DNS (BIND), email (Sendmail, Dovecot), file sharing (Samba, NFS), and more, with a unified access control system that restricts what each administrator can see and do. What sets Webmin apart is

Backrest is a web-based management interface for Restic that orchestrates scheduled snapshots, manages offsite repositories, and provides a browser for file restoration. It serves as a scheduled backup orchestrator and remote storage manager to maintain data repositories across various backends. The system distinguishes itself through a backup lifecycle automation framework that triggers shell scripts and external notifications based on backup events. It includes a snapshot restoration browser that allows for exploring point-in-time snapshots to recover specific directories to local paths. T

Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.

KubeOperator هي منصة شاملة لإدارة مجموعات Kubernetes، ومنسق للبنية التحتية، ومدير للمجموعات المتعددة. تعمل كتوزيعة Kubernetes للمؤسسات مصممة لأتمتة النشر والقياس وإدارة دورة حياة مجموعات الإنتاج عبر منصات سحابية متنوعة وآلات فيزيائية. تتميز المنصة بإمكانيات متخصصة للبيئات المعزولة (air-gapped)، بما في ذلك محرك تثبيت دون اتصال يقوم بإنشاء أرشيفات برمجية وإدارة سجلات خاصة للنشر الآمن دون إنترنت. كما توفر لوحة تحكم مركزية لعمليات الأسطول، مما يسمح باستيراد مجموعات خارجية وتنسيق البنية التحتية عبر مناطق جغرافية ومناطق توافر مختلفة. يغطي النظام سطحاً تشغيلياً واسعاً، بما في ذلك توفير الأجهزة الافتراضية الآلي، وتتبع مخزون الأجهزة، وإدارة دورة الحياة التعريفية للتصحيح والقياس. كما يدمج خدمات النسخ الاحتياطي والاسترداد المتكاملة، والتحكم في الوصول القائم على الأدوار مع مزامنة LDAP، ومراقبة شاملة لصحة المجموعة ومقاييس الأداء. يتم تنفيذ المهام الإدارية وعمليات المجموعة من خلال واجهة قائمة على الويب.

هذا المشروع عبارة عن منسق نسخ احتياطي لنظام Unix يستخدم لنمذجة وتنفيذ حماية البيانات الكاملة. يعمل كنظام إدارة لتفريغات قواعد البيانات، والأرشفة المشفرة، وتدوير الإصدارات، ونقل التخزين عن بُعد. يتميز النظام بتنسيق أدوات النظام الأصلية لقواعد بيانات متنوعة، بما في ذلك PostgreSQL و MySQL و MongoDB و Redis و Riak. يستخدم سير عمل أرشفة آمن يجمع بين الضغط والتشفير باستخدام GPG أو OpenSSL أو AES قبل نقل الحزم إلى الخدمات المتوافقة مع S3 أو Dropbox أو الخوادم البعيدة عبر SFTP و RSync. تشمل القدرات الواسعة أتمتة مزامنة البيانات من خلال عمليات النقل التفاضلية والتحميلات المجزأة، بالإضافة إلى إدارة الاحتفاظ بالحالة لتدوير وتقليم الأرشيفات التاريخية. يتميز المنسق أيضاً بنظام إشعارات متعدد القنوات يتكامل مع البريد الإلكتروني و HTTP POST و PagerDuty ومنصات الدردشة المختلفة لتنبيه المسؤولين بنتائج العمليات. يمكن للمستخدمين تحديد سير العمل هذا باستخدام نموذج يعتمد على التكوين يدعم حقن المتغيرات الديناميكية والتحقق من بناء الجملة.

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

هذا المشروع عبارة عن مشغل (operator) لـ Kubernetes مصمم لنشر وإدارة مجموعات قواعد بيانات PostgreSQL للإنتاج باستخدام تكوينات تعريفية. يعمل كوحدة تحكم تقوم بمزامنة الحالة الفعلية لمجموعات قواعد البيانات مع الحالة المطلوبة، مما يوفر نظاماً لتنسيق التوافر العالي، والنسخ الاحتياطي والاستعادة التلقائي، وإدارة قواعد البيانات داخل الحاويات. يتميز المشغل بمجموعة شاملة لحماية البيانات تدعم الاستعادة في نقطة زمنية محددة، والنسخ الاحتياطي متعدد الأنماط إلى تخزين الكائنات السحابي، واستنساخ المجموعات. يضمن التوافر المستمر باستخدام الإجماع الموزع (distributed consensus) للفشل التلقائي (failover) ويدعم إدارة حركة مرور متطورة من خلال مجمع اتصالات (connection pooler) متكامل. يغطي المشروع مجموعة واسعة من القدرات التشغيلية، بما في ذلك النسخ المتماثل المتزامن وغير المتزامن، وجمع القياسات عن بُعد (telemetry) عبر مجموعة مراقبة مخصصة، وإدارة الهوية الآمنة مع تدوير تلقائي لشهادات TLS. كما يوفر أدوات لتوسيع حجم التخزين، وتحديثات محرك قاعدة البيانات، ودمج إضافات قواعد البيانات المختلفة. يتم تثبيت وحدة التحكم في مجموعة باستخدام ملفات بيان قابلة للتخصيص لتمكين التنسيق التعريفي لبيئة قاعدة البيانات.

pgBackRest هي أداة نسخ احتياطي واستعادة موزعة لـ PostgreSQL. تعمل كمحرك نسخ احتياطي تزايدي ومدير استعادة في نقطة زمنية، مما يتيح إنشاء نسخ احتياطية كاملة وتفاضلية وتزايدية عبر المستودعات المحلية والبعيدة. يتميز النظام بنسخه الاحتياطية التزايدية على مستوى الكتلة، والتي تقلل من وقت التخزين والنقل عن طريق حفظ البيانات المعدلة فقط. يتكامل مع تخزين الكائنات المتوافق مع S3 عبر HTTP ويستخدم المعالجة المتوازية لزيادة الإنتاجية أثناء عمليات النسخ الاحتياطي والاستعادة. تغطي الأداة قدرات شاملة للتعافي من الكوارث، بما في ذلك أرشفة سجل الكتابة المسبقة (WAL) للاستعادة في نقطة زمنية والتحقق من السلامة القائم على المجموع الاختباري لاكتشاف تلف البيانات. كما توفر أتمتة دورة حياة النسخ الاحتياطي من خلال التدوير القائم على السياسة وتؤمن البيانات عبر تشفير المستودع وبروتوكولات النقل الآمنة.

wal-g هي أداة نسخ احتياطي سحابي لقاعدة البيانات وأرشيف سجل الكتابة المسبقة (write-ahead log) مصممة للتعافي من الكوارث والتعافي في نقطة زمنية محددة. تقوم بأرشفة حالة قاعدة البيانات وسجلات المعاملات لموفري التخزين السحابي لضمان متانة البيانات على المدى الطويل. يوفر المشروع مديراً لضغط وتشفير وتقليم النسخ الاحتياطية لقاعدة البيانات المخزنة في تخزين الكائنات السحابي. يتيح بشكل خاص استعادة قاعدة البيانات إلى طابع زمني محدد عن طريق جلب النسخ الاحتياطية الأساسية وإعادة تشغيل سجلات المعاملات. تغطي قدرات الأداة النسخ الاحتياطي والاستعادة متعدد المحركات، بما في ذلك إنشاء نسخ احتياطية كاملة وتفاضلية. تدير دورة حياة النسخ الاحتياطي من خلال تتبع المخزون وسياسات التقليم الآلية، وتتضمن أدوات للتحقق من سلامة أرشيفات السجل وملفات الجدول. يتوفر وكيل محلي لمحاكاة واجهات برمجة تطبيقات التخزين السحابي لاختبار عمليات النسخ الاحتياطي والاستعادة.