Awesome GitHub RepositoriesDatabase Performance Tuning

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

MySQLTuner-perl is a diagnostic utility and Perl script designed for optimizing database configurations, auditing security, monitoring resources, and analyzing performance. It functions as a configuration optimizer and performance tuning tool that analyzes server variables to provide specific recommendations for increasing system stability and speed. The tool acts as a database auditor by evaluating security settings, SSL configurations, and schema integrity to identify vulnerabilities. It also serves as a resource monitor that forecasts capacity needs and calculates health scores based on di

This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the

هذا المشروع عبارة عن دليل للمقابلات الهندسية في الواجهة الخلفية (backend) ومورد دراسي لعلوم الحاسب. يوفر مجموعة منسقة من الأسئلة والأجوبة التقنية التي تركز على بنية جانب الخادم، وتحسين قواعد البيانات، وأساسيات الشبكات للتحضير للتقييمات المهنية لهندسة البرمجيات. يعمل المورد كمرجع تقني لدراسة خصائص ACID، وعزل المعاملات، وتحسين الأنظمة العلائقية وغير العلائقية. ويتضمن مرجعاً لهندسة البرمجيات لتحليل أنماط التصميم، وحقن التبعية (dependency injection)، والمقايضات الهيكلية لأطر عمل الواجهة الخلفية المختلفة. يغطي المحتوى مجموعة واسعة من المجالات التقنية، بما في ذلك أساسيات أنظمة التشغيل، ودراسة بروتوكولات الشبكة، وهياكل البيانات. كما يوفر كتيباً لـ DevOps والبنية التحتية، يوضح خطوط أنابيب التكامل المستمر، وتنسيق الحاويات، واستراتيجيات النشر بدون توقف (zero-downtime).

Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.

This project is a PostgreSQL Kubernetes operator and database orchestrator designed to automate the deployment, scaling, and lifecycle management of high-availability database clusters. It functions as a controller that uses declarative manifests to provision and synchronize the state of database instances within a cluster. The system manages high availability through streaming replication and ensures constant availability during maintenance via rolling updates. It also serves as a backup and recovery manager, handling point-in-time recovery, logical backups, and cluster cloning using cloud s

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

هذا المشروع عبارة عن دليل شامل ومجموعة من أفضل الممارسات لاختبار تطبيقات الواجهة الخلفية لـ Node.js. يوفر مجموعة منسقة من الأنماط وأمثلة مرجعية لكتابة اختبارات الوحدة والتكامل والمكونات الموثوقة. يتميز المشروع باستراتيجيات محددة لتكامل الواجهة الخلفية، بما في ذلك طرق مفصلة لاختبار عقد API مقابل مواصفات OpenAPI والمخططات المشتركة. ويقدم توجيهاً متخصصاً حول إدارة اختبار طابور الرسائل، مع التركيز على التكرار (idempotency)، والمرونة، ومزامنة الأحداث غير المتزامنة. يغطي الدليل نطاقاً واسعاً من مجالات القدرات، بما في ذلك عزل حالة قاعدة البيانات والتنظيف، ومحاكاة التبعيات الخارجية عبر معترضات الشبكة (network interceptors) والبدائل المكتوبة (type-safe stubs)، وأتمتة البنية التحتية للاختبار المعبأة (containerized). كما يتناول تحسين الأداء لمجموعات الاختبار من خلال استخدام أقراص RAM ومحركات الذاكرة لتخزين البيانات.

pg_textsearch is a full-text search integration for PostgreSQL that provides large-scale text indexing and BM25 relevance ranking. It implements a scalable indexing architecture that uses a memtable system to spill data to disk segments, allowing for the processing of massive datasets. The project distinguishes itself through support for multilingual search via language-specific partial indexes and the ability to index complex expressions, such as JSONB fields or concatenated columns. It ensures high availability by utilizing PostgreSQL-native streaming replication and write-ahead logs to syn

SlateDB is a cloud-native key-value store and distributed database engine that utilizes a log-structured merge-tree architecture. It serves as a transactional storage layer designed to persist data directly to cloud object storage. The engine differentiates itself by optimizing read performance for remote storage through the use of bloom filters and multi-level block caching. It employs a single-writer multi-reader model and provides the ability to create zero-copy clones via copy-on-write checkpointing. The system supports atomic transactions, range queries, and snapshot-based concurrency c