Awesome GitHub RepositoriesLog Streaming

wal-g هي أداة نسخ احتياطي سحابي لقاعدة البيانات وأرشيف سجل الكتابة المسبقة (write-ahead log) مصممة للتعافي من الكوارث والتعافي في نقطة زمنية محددة. تقوم بأرشفة حالة قاعدة البيانات وسجلات المعاملات لموفري التخزين السحابي لضمان متانة البيانات على المدى الطويل. يوفر المشروع مديراً لضغط وتشفير وتقليم النسخ الاحتياطية لقاعدة البيانات المخزنة في تخزين الكائنات السحابي. يتيح بشكل خاص استعادة قاعدة البيانات إلى طابع زمني محدد عن طريق جلب النسخ الاحتياطية الأساسية وإعادة تشغيل سجلات المعاملات. تغطي قدرات الأداة النسخ الاحتياطي والاستعادة متعدد المحركات، بما في ذلك إنشاء نسخ احتياطية كاملة وتفاضلية. تدير دورة حياة النسخ الاحتياطي من خلال تتبع المخزون وسياسات التقليم الآلية، وتتضمن أدوات للتحقق من سلامة أرشيفات السجل وملفات الجدول. يتوفر وكيل محلي لمحاكاة واجهات برمجة تطبيقات التخزين السحابي لاختبار عمليات النسخ الاحتياطي والاستعادة.

Scribe is a distributed log aggregation system designed to collect and route real-time log data from numerous servers to centralized storage or analysis tools. It functions as a log data pipeline and scalable collector that gathers streaming data and writes it to local disks or remote endpoints. The system employs a log routing server model that organizes incoming streams into specific buckets based on predefined configuration mappings. It supports multi-hop log forwarding, allowing data to be routed through a chain of intermediate servers to centralize logs from diverse network segments. Re