Awesome GitHub RepositoriesImmutable Commit Versioning

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Pachyderm is a containerized, versioned, and lineage-tracked data pipeline platform that runs natively on Kubernetes. It combines a distributed file system backend with immutable data versioning, so every commit to a data repository creates an auditable snapshot, and every pipeline step executes as an isolated container. The platform is defined by a data-centric pipeline model where pipelines are specified by their input and output data repositories rather than explicit task sequences, and provenance is recorded as a directed acyclic graph of commits linking output data to its input sources an

lakeFS es un sistema de versionado de lagos de datos que proporciona ramificaciones (branching) y commits similares a Git para grandes conjuntos de datos almacenados en almacenamiento de objetos. Funciona como una capa de control de versiones, permitiendo la creación de instantáneas inmutables, commits atómicos y ramificaciones de copia cero para crear entornos aislados para la experimentación de datos sin duplicar archivos físicos. El sistema sirve como una puerta de enlace de almacenamiento compatible con S3 y un catálogo REST de Iceberg, permitiendo que los protocolos de almacenamiento en la nube estándar y los clientes compatibles gestionen tablas versionadas. Actúa como un guardián de calidad de datos mediante el uso de un sistema de hooks basado en eventos para validar conjuntos de datos contra políticas de gobernanza antes de que los cambios se fusionen en producción. La plataforma cubre amplias capacidades para la gobernanza de datos, incluyendo colaboración mediante pull requests, control de acceso basado en roles y seguimiento del linaje de datos. Proporciona integración para la orquestación de flujos de trabajo, pipelines de aprendizaje automático y varios motores de cómputo de big data, soportando conectividad de almacenamiento multi-nube y sincronización de identidad mediante SSO y SCIM. El software se puede instalar utilizando binarios, contenedores o Helm charts para su despliegue en Kubernetes.

Este proyecto es un repositorio de localización al chino y un proyecto de traducción técnica diseñado para hacer que los proyectos de programación concisos y la documentación técnica sean accesibles para los hablantes de chino. Proporciona una colección de recursos traducidos y mapeos curados de terminología de ciencias de la computación para asegurar una traducción consistente de conceptos técnicos. El proyecto implementa un flujo de trabajo de localización de software que convierte guías técnicas y documentación de código base en inglés al chino. Este proceso utiliza un recurso de glosario técnico y un modelo de localización impulsado por recursos para mantener el significado original y el contexto técnico del material fuente. El repositorio cubre la traducción de documentación técnica y la gestión de mapeos de traducción estandarizados para asegurar una redacción técnica consistente en diversos proyectos de software.

nit es una plataforma de procedencia de activos blockchain y registro descentralizado de activos. Establece una cadena de custodia verificable para medios digitales asignando identificadores criptográficamente únicos a los archivos y registrando su origen, propiedad e historial de modificaciones en un libro mayor. El proyecto se distingue por integrar IPFS para almacenamiento descentralizado y un sistema de versionado de contenido que rastrea la evolución de los activos a través de commits inmutables. Incluye herramientas especializadas para el seguimiento de la procedencia de IA generativa, permitiendo el registro de creadores y herramientas utilizadas en medios sintéticos para mantener un árbol de metadatos transparente. El sistema cubre una amplia gama de capacidades, incluyendo gestión de derechos digitales, distribución automatizada de regalías mediante contratos inteligentes y verificación de autenticidad de contenido. También implementa un modelo de gobernanza ponderado por tokens donde los usuarios pueden hacer staking de tokens para influir en la dirección del protocolo mediante votación descentralizada. El proyecto está desarrollado en TypeScript.