Awesome GitHub RepositoriesImmutable Commit Versioning

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Pachyderm is a containerized, versioned, and lineage-tracked data pipeline platform that runs natively on Kubernetes. It combines a distributed file system backend with immutable data versioning, so every commit to a data repository creates an auditable snapshot, and every pipeline step executes as an isolated container. The platform is defined by a data-centric pipeline model where pipelines are specified by their input and output data repositories rather than explicit task sequences, and provenance is recorded as a directed acyclic graph of commits linking output data to its input sources an

lakeFS est un système de versioning de data lake qui fournit des branches et des commits de type Git pour de grands jeux de données stockés dans un stockage objet. Il fonctionne comme une couche de contrôle de version, permettant la création d'instantanés immuables, de commits atomiques et de branches zero-copy pour créer des environnements isolés pour l'expérimentation de données sans dupliquer les fichiers physiques. Le système sert de passerelle de stockage compatible S3 et de catalogue REST Iceberg, permettant aux protocoles de stockage cloud standard et aux clients compatibles de gérer des tables versionnées. Il agit comme un gardien de la qualité des données en utilisant un système de hooks piloté par événements pour valider les jeux de données par rapport aux politiques de gouvernance avant que les changements ne soient fusionnés en production. La plateforme couvre de larges capacités pour la gouvernance des données, incluant la collaboration via pull requests, le contrôle d'accès basé sur les rôles et le suivi de la lignée des données (data lineage). Elle fournit une intégration pour l'orchestration de workflows, les pipelines de machine learning et divers moteurs de calcul big data, prenant en charge la connectivité de stockage multi-cloud et la synchronisation d'identité via SSO et SCIM. Le logiciel peut être installé en utilisant des binaires, des conteneurs ou des charts Helm pour un déploiement sur Kubernetes.

Ce projet est un dépôt de localisation chinoise et un projet de traduction technique conçu pour rendre les projets de programmation concis et la documentation technique accessibles aux sinophones. Il fournit une collection de ressources traduites et des mappages curés de terminologie informatique pour assurer une traduction cohérente des concepts techniques. Le projet implémente un flux de travail de localisation logicielle qui convertit les guides techniques et la documentation de base de code en langue anglaise vers le chinois. Ce processus utilise une ressource de glossaire technique et un modèle de localisation piloté par les ressources pour maintenir le sens original et le contexte technique du matériel source. Le dépôt couvre la traduction de documentation technique et la gestion de mappages de traduction standardisés pour assurer une formulation technique cohérente à travers divers projets logiciels.

nit est une plateforme de provenance d'actifs blockchain et un registre d'actifs décentralisé. Il établit une chaîne de garde vérifiable pour les médias numériques en attribuant des identifiants cryptographiques uniques aux fichiers et en enregistrant leur origine, leur propriété et leur historique de modification sur un registre. Le projet se distingue en intégrant IPFS pour le stockage décentralisé et un système de versioning de contenu qui suit l'évolution des actifs via des commits immuables. Il inclut des outils spécialisés pour le suivi de la provenance de l'IA générative, permettant l'enregistrement des créateurs et des outils utilisés dans les médias synthétiques pour maintenir un arbre de métadonnées transparent. Le système couvre un large éventail de capacités, notamment la gestion des droits numériques, la distribution automatique des redevances via des smart contracts et la vérification de l'authenticité du contenu. Il implémente également un modèle de gouvernance pondéré par jetons où les utilisateurs peuvent staker des jetons pour influencer la direction du protocole via un vote décentralisé. Le projet est développé en TypeScript.