Awesome GitHub RepositoriesDatabase Internals

This project is a curated knowledge repository designed to support the professional development of software engineers. It functions as a comprehensive index of industry best practices, methodologies, and design principles, providing a structured roadmap for those seeking to improve their technical skills, architectural decision-making, and career trajectory. The repository distinguishes itself through a community-driven approach, relying on peer-reviewed contributions to maintain an up-to-date collection of resources. It organizes vast amounts of technical information into a hierarchical taxo

This project is a reactive, offline-first NoSQL database engine designed for JavaScript applications. It provides a robust framework for managing application state by synchronizing data across browsers, mobile devices, and server-side runtimes. By treating local storage as the primary source of truth, it enables applications to remain functional without network connectivity, automatically reconciling changes with remote backends once a connection is restored. The database distinguishes itself through a modular architecture that supports cross-environment synchronization and high-performance d

This project is a curated collection of academic papers, books, and technical resources designed for studying the architecture and implementation of database management systems. It serves as a comprehensive educational guide for engineers and researchers looking to understand the fundamental principles behind modern data storage and retrieval. The repository distinguishes itself by providing structured learning paths across critical database domains, including the design of persistent storage engines, the mechanics of query optimization, and the complexities of distributed transaction managem

pgx es un framework y conjunto de herramientas para desarrollar extensiones de PostgreSQL de alto rendimiento utilizando el lenguaje de programación Rust. Proporciona un wrapper de API de bajo nivel para interactuar con contextos de memoria internos de la base de datos, sistemas de registro y APIs de ejecución del núcleo, permitiendo implementar lógica y funcionalidades personalizadas directamente dentro del motor de la base de datos. El proyecto se distingue por una herramienta de compilación dedicada y una interfaz de línea de comandos que gestiona el ciclo de vida de desarrollo de la extensión, desde la inicialización del entorno hasta el empaquetado binario. Incluye un mapeador de tipos que traduce estructuras del lenguaje a tipos compuestos de la base de datos y genera automáticamente las definiciones de esquema SQL correspondientes. El framework cubre una amplia superficie de capacidades, incluyendo el mapeo de funciones definidas por el usuario, integración de protocolos binarios y soporte para múltiples versiones de destino para asegurar la compatibilidad entre diferentes lanzamientos de la base de datos. También proporciona wrappers especializados de gestión de memoria para manejar punteros y prevenir fugas dentro del entorno de la base de datos.

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

MiniOB is an open-source educational relational database kernel designed for learning the internals of database systems. It implements a dual-engine storage architecture combining B+ Tree and LSM-Tree, supports SQL parsing and query execution, and provides transactional processing with multi-version concurrency control. The system communicates with clients using the MySQL wire protocol and includes a vector database extension for storing and querying high-dimensional vectors. The project distinguishes itself through its comprehensive coverage of core database concepts in a single, learnable c

Este proyecto es un análisis y estudio detallado del código fuente de Nginx, centrándose en la arquitectura de servidor de alto rendimiento y los flujos de llamadas a funciones. Sirve como un examen técnico de la implementación interna en C utilizada para construir sistemas de red de alta concurrencia. El proyecto deconstruye los mecanismos internos del servidor web, incluyendo el modelo maestro-trabajador multiproceso, la E/S asíncrona basada en eventos y la comunicación de sockets no bloqueantes. Analiza el ciclo de vida de procesamiento de solicitudes basado en fases, desde la coincidencia de URI y el análisis de encabezados hasta la generación final de contenido. El estudio cubre una amplia gama de patrones arquitectónicos, incluyendo agrupación de memoria basada en losas (slab-based), comunicación entre procesos mediante memoria compartida y equilibrio de carga basado en upstream. También examina la implementación de mecanismos de proxy inverso, estrategias de almacenamiento en caché y módulos de seguridad para la protección de recursos.