Awesome GitHub RepositoriesDatabase Performance Tuning

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

MySQLTuner-perl is a diagnostic utility and Perl script designed for optimizing database configurations, auditing security, monitoring resources, and analyzing performance. It functions as a configuration optimizer and performance tuning tool that analyzes server variables to provide specific recommendations for increasing system stability and speed. The tool acts as a database auditor by evaluating security settings, SSL configurations, and schema integrity to identify vulnerabilities. It also serves as a resource monitor that forecasts capacity needs and calculates health scores based on di

This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the

Ce projet est un guide d'entretien en ingénierie backend et une ressource d'étude en informatique. Il propose une collection organisée de questions et réponses techniques axées sur l'architecture côté serveur, l'optimisation des bases de données et les fondamentaux du réseau pour préparer les évaluations professionnelles en génie logiciel. La ressource sert de référence technique pour étudier les propriétés ACID, l'isolation des transactions et l'optimisation des systèmes relationnels et non relationnels. Elle inclut une référence d'architecture logicielle pour analyser les design patterns, l'injection de dépendances et les compromis structurels de divers frameworks backend. Le contenu couvre un large éventail de domaines techniques, incluant les fondamentaux des systèmes d'exploitation, l'étude des protocoles réseau et les structures de données. Il fournit également un manuel pour le DevOps et l'infrastructure, détaillant les pipelines d'intégration continue, l'orchestration de conteneurs et les stratégies de déploiement sans interruption (zero-downtime).

Pigsty est une plateforme d'orchestration d'infrastructure de base de données complète conçue pour automatiser le cycle de vie complet des clusters PostgreSQL à haute disponibilité. Il fonctionne comme un framework d'infrastructure en tant que code qui gère la coordination des clusters, le provisionnement des nœuds et la découverte de services via des playbooks idempotents. En intégrant des mécanismes de consensus distribués, la plateforme assure un basculement automatisé et une application cohérente de l'état à travers divers environnements, y compris le matériel nu et l'infrastructure virtualisée. La plateforme se distingue par une suite robuste de capacités opérationnelles qui s'étendent au-delà de la gestion de base de données standard. Elle dispose d'un pipeline d'observabilité intégré qui agrège les métriques, les logs et les traces dans des tableaux de bord centralisés pour une surveillance des performances en temps réel et une analyse diagnostique. De plus, elle fournit un framework de migration qui émule les protocoles filaires propriétaires et la syntaxe SQL, permettant l'intégration de charges de travail de base de données d'entreprise héritées dans des environnements relationnels modernes. Le système couvre une large surface fonctionnelle, y compris la gestion avancée du stockage avec clonage par copie sur écriture pour un déploiement rapide, et l'orchestration multi-base de données qui coordonne les moteurs relationnels avec la mise en cache et le stockage d'objets. Il intègre également le renforcement de la sécurité, la sauvegarde et la récupération automatisées, et le routage du trafic via des proxys en couches pour découpler les connexions client de la topologie de cluster sous-jacente. Le projet est distribué sous forme de modèle de miroir de package autonome, permettant un déploiement et une gestion des dépendances cohérents dans des environnements sécurisés ou isolés.

This project is a PostgreSQL Kubernetes operator and database orchestrator designed to automate the deployment, scaling, and lifecycle management of high-availability database clusters. It functions as a controller that uses declarative manifests to provision and synchronize the state of database instances within a cluster. The system manages high availability through streaming replication and ensures constant availability during maintenance via rolling updates. It also serves as a backup and recovery manager, handling point-in-time recovery, logical backups, and cluster cloning using cloud s

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

Ce projet est un guide complet et une collection de meilleures pratiques pour tester les applications backend Node.js. Il fournit un ensemble curaté de modèles et d'exemples de référence pour écrire des tests unitaires, d'intégration et de composants fiables. Le projet se distingue par des stratégies spécifiques pour l'intégration backend, y compris des méthodes détaillées pour les tests de contrat API par rapport aux spécifications OpenAPI et aux schémas partagés. Il offre des conseils spécialisés sur la gestion des tests de file d'attente de messages, en se concentrant sur l'idempotence, la résilience et la synchronisation asynchrone des événements. Le guide couvre une large gamme de domaines de capacité, y compris l'isolation et le nettoyage de l'état de la base de données, le mocking des dépendances externes via des intercepteurs réseau et des stubs typés, et l'automatisation de l'infrastructure de test conteneurisée. Il aborde également l'optimisation des performances pour les suites de tests via l'utilisation de disques RAM et de moteurs mémoire pour le stockage des données.

This project is a collection of specialized toolsets for SQL Server, functioning as a diagnostic toolkit, performance monitor, and database administrator framework. It provides stored procedures and utilities designed to automate backup recovery, diagnose system health, and optimize database performance and indexing. The kit distinguishes itself through specialized capabilities for point-in-time restoration and the calculation of estimated data loss windows using backup history. It also includes an index optimizer that analyzes usage and size to provide prioritized recommendations for data re

pg_textsearch is a full-text search integration for PostgreSQL that provides large-scale text indexing and BM25 relevance ranking. It implements a scalable indexing architecture that uses a memtable system to spill data to disk segments, allowing for the processing of massive datasets. The project distinguishes itself through support for multilingual search via language-specific partial indexes and the ability to index complex expressions, such as JSONB fields or concatenated columns. It ensures high availability by utilizing PostgreSQL-native streaming replication and write-ahead logs to syn

SlateDB is a cloud-native key-value store and distributed database engine that utilizes a log-structured merge-tree architecture. It serves as a transactional storage layer designed to persist data directly to cloud object storage. The engine differentiates itself by optimizing read performance for remote storage through the use of bloom filters and multi-level block caching. It employs a single-writer multi-reader model and provides the ability to create zero-copy clones via copy-on-write checkpointing. The system supports atomic transactions, range queries, and snapshot-based concurrency c