Awesome GitHub RepositoriesStorage Immutability

This project provides educational materials and courseware focused on the theoretical and practical foundations of distributed systems design. It serves as a comprehensive curriculum covering the disciplines of consensus, data consistency, reliability engineering, and scalability. The instructional content focuses on achieving cluster agreement through consensus algorithms and managing system-wide state via coordination frameworks. It includes a dedicated guide to data theory, exploring replication strategies, consistency models, and data convergence. The courseware covers a broad capability

immudb is a tamperproof database that maintains an immutable record of entries using cryptographic commit logging. It ensures verifiable database integrity by utilizing Merkle trees to generate membership and consistency proofs that detect unauthorized data alterations. The system employs a multi-model storage engine that unifies key-value, document, and relational data structures within a single immutable backend. It provides compatibility with the PostgreSQL wire protocol, allowing it to integrate with standard SQL clients, ORMs, and database tools. The project covers broad capabilities in

This project is a research data sharing framework and provenance protocol designed to ensure computational reproducibility. It provides a standardized set of guidelines for transforming raw source data into tidy formats through documented processing scripts and cleaning workflows. The framework distinguishes itself by emphasizing a strict provenance-based packaging system. It requires the organization of raw data, processing recipes, and code books into a single package, ensuring that original unmodified sources are preserved to allow for independent verification of all transformation steps.

Fluvio es una plataforma de streaming de eventos distribuida y motor de streaming nativo de la nube, diseñado para recopilar, persistir y replicar flujos de datos en tiempo real a través de un clúster distribuido. Funciona como un pipeline de datos en tiempo real para construir flujos de trabajo con estado que ingieren, enriquecen y exportan datos entre fuentes y destinos externos. La plataforma se distingue por su uso de WebAssembly para ejecutar módulos compilados para transformaciones y filtrado de datos en línea. Esto permite la ejecución de lógica de negocio personalizada para remodelar la información en movimiento sin requerir un reinicio del clúster. El sistema cubre una amplia gama de capacidades, incluyendo ingesta de datos basada en conectores desde protocolos externos, almacenamiento inmutable estructurado en registros con E/S de copia cero y escalado horizontal del clúster. Admite la creación de pipelines complejos basados en eventos que utilizan procesamiento con estado, agregaciones en ventanas y distribución de datos basada en particiones. El motor puede desplegarse como un binario ligero en diversas arquitecturas de sistema, incluyendo dispositivos IoT ARM64 para procesamiento de datos en el borde (edge).

Blitzar es un motor de pruebas SQL verificables y una librería criptográfica diseñada para la computación SQL verificable. Permite la ejecución de consultas de base de datos fuera de la cadena (off-chain) mientras genera pruebas de conocimiento cero que certifican la corrección de los resultados para su verificación en la cadena (on-chain). El proyecto se distingue por un acelerador de pruebas basado en GPU que descarga cargas de trabajo criptográficas pesadas a procesadores gráficos, reduciendo el tiempo requerido para la generación de pruebas sucintas. Proporciona primitivas criptográficas de alto rendimiento para aplicaciones en C++ y Rust, centrándose en operaciones de curvas elípticas y multiplicación multiescalar. El sistema cubre una amplia superficie de gestión de datos y seguridad, incluyendo la integración de datos sin confianza (trustless) que combina la indexación de blockchain con conjuntos de datos fuera de la cadena en tablas relacionales a prueba de manipulaciones. Utiliza consenso BFT y firmas de umbral para mantener la integridad del estado, junto con mecanismos para la sincronización de datos basada en quórum y la entrega de resultados verificados mediante callbacks de contratos inteligentes. El código base proporciona bindings nativos para C++ y Rust para exponer sus conjuntos de herramientas criptográficas y librerías de computación de pruebas.

Lux is a blockchain infrastructure project providing a distributed ledger and a smart contract platform. It utilizes a hybrid proof-of-work and proof-of-stake consensus mechanism to secure decentralized transactions and maintain network stability. The project features a peer-to-peer ecosystem that includes a decentralized file storage system for immutable data, a masternode network for governance, and a cross-chain asset bridge. It distinguishes itself with an ASIC-resistant hashing algorithm optimized for general-purpose CPUs and a decentralized order book for matching trades without a centr

open62541 is an open-source implementation of the OPC Unified Architecture standard, providing a complete stack for industrial automation and data exchange. It functions as both an OPC UA server and client, enabling the creation of an object-oriented address space to model physical industrial assets and their relationships. The project is designed for versatility across diverse hardware, offering a C99 library that can be deployed to both cloud servers and resource-constrained embedded environments. It distinguishes itself through a pluggable network layer and interface-based security backend

PalDB es un motor de almacenamiento clave-valor integrable para Java diseñado para la recuperación de datos de alto rendimiento. Funciona como una biblioteca que persiste los datos en un único archivo binario inmutable, proporcionando una solución de almacenamiento para cargas de trabajo de escritura única que requieren una sobrecarga de memoria mínima en comparación con las colecciones estándar en memoria. El sistema se distingue por un diseño de datos de escritura única que elimina la necesidad de mecanismos de bloqueo durante operaciones de lectura concurrentes. Al utilizar acceso a archivos mapeados en memoria e indexación de claves ordenadas, el motor permite búsquedas rápidas directamente dentro del espacio de direcciones del proceso. Esta arquitectura admite la distribución de conjuntos de datos estáticos como archivos de solo lectura que pueden integrarse y accederse por múltiples instancias de aplicación. La biblioteca incluye un framework para la serialización de datos de alto rendimiento, permitiendo a los desarrolladores definir lógica personalizada para convertir objetos complejos en flujos binarios compactos. Esta extensibilidad asegura que las estructuras de datos únicas puedan almacenarse y recuperarse eficientemente dentro del entorno de aplicación local.