12 dépôts
Mechanisms for creating instant, logically independent copies of datasets without physically duplicating data on disk.
Distinct from Physical Disk Cloning: None of the candidates cover database-level copy-on-write checkpointing; they focus on physical disk cloning, language-level object cloning, or DMA memory transfers.
Explore 12 awesome GitHub repositories matching data & databases · Zero-Copy Cloning. Refine with filters or upvote what's useful.
HVM2 is a high-performance execution environment for pure functional programs, implemented as a systems-level runtime in Rust. It functions as a massively parallel functional runtime that uses interaction combinators to achieve automatic parallelism across multi-core CPUs and GPUs. The project distinguishes itself by using a graph-rewriting computational model to execute programs via local reduction rules, which eliminates the need for manual locks or atomic operations. It employs beta-optimal reduction and lazy evaluation to optimize higher-order functions and eliminate redundant computation
Defers copying of shared values until they are read to make data duplication computationally efficient.
class-transformer is a TypeScript library that converts plain JavaScript objects into typed class instances and back, using decorators to define transformation rules. It serves as a decorator-based object transformer, JSON deserialization library, and property transformation framework, enabling type-safe serialization and deserialization of class instances. The library distinguishes itself through comprehensive property filtering and mapping capabilities. It supports excluding properties by default, by prefix, by operation (serialization or deserialization), or by explicit marking, as well as
Provides deep cloning of class instances to create independent copies with preserved nested structures.
MobX State Tree is a structured, tree-based state management library for JavaScript applications that combines typed model definitions with reactive snapshots and patch-based change tracking. It provides a reactive state container with runtime and compile-time type safety, where application state is defined as a tree of typed models with collocated actions, computed views, and lifecycle hooks for predictable state mutations. The library is built around an action-centric mutation model that encapsulates all state changes within named functions that directly modify the tree, supported by genera
Creates deep independent copies of state tree nodes as new standalone trees.
Kryo is a Java binary serialization framework and object cloning library used to convert Java objects into a compact binary format and restore them from bytes. It provides a system for creating deep or shallow copies of complex object graphs without requiring binary conversion. The project utilizes variable-length integer encoding and integer-ID class registration to reduce the size of serialized data. It handles complex object graphs through circular reference tracking to prevent data duplication and infinite loops. To maintain long-term data viability, it includes schema evolution managemen
Creates full independent copies of complex Java object graphs to avoid modifying original instances.
From Java To Kotlin - Your Cheat Sheet For Java To Kotlin
Demonstrates Kotlin's data class copy() function for cloning with property overrides.
attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it
Creates a modified copy of an existing instance by specifying which attribute values to change.
lakeFS est un système de versioning de data lake qui fournit des branches et des commits de type Git pour de grands jeux de données stockés dans un stockage objet. Il fonctionne comme une couche de contrôle de version, permettant la création d'instantanés immuables, de commits atomiques et de branches zero-copy pour créer des environnements isolés pour l'expérimentation de données sans dupliquer les fichiers physiques. Le système sert de passerelle de stockage compatible S3 et de catalogue REST Iceberg, permettant aux protocoles de stockage cloud standard et aux clients compatibles de gérer des tables versionnées. Il agit comme un gardien de la qualité des données en utilisant un système de hooks piloté par événements pour valider les jeux de données par rapport aux politiques de gouvernance avant que les changements ne soient fusionnés en production. La plateforme couvre de larges capacités pour la gouvernance des données, incluant la collaboration via pull requests, le contrôle d'accès basé sur les rôles et le suivi de la lignée des données (data lineage). Elle fournit une intégration pour l'orchestration de workflows, les pipelines de machine learning et divers moteurs de calcul big data, prenant en charge la connectivité de stockage multi-cloud et la synchronisation d'identité via SSO et SCIM. Le logiciel peut être installé en utilisant des binaires, des conteneurs ou des charts Helm pour un déploiement sur Kubernetes.
Creates lightweight isolated namespaces for datasets without duplicating the underlying physical data files.
Pigsty est une plateforme d'orchestration d'infrastructure de base de données complète conçue pour automatiser le cycle de vie complet des clusters PostgreSQL à haute disponibilité. Il fonctionne comme un framework d'infrastructure en tant que code qui gère la coordination des clusters, le provisionnement des nœuds et la découverte de services via des playbooks idempotents. En intégrant des mécanismes de consensus distribués, la plateforme assure un basculement automatisé et une application cohérente de l'état à travers divers environnements, y compris le matériel nu et l'infrastructure virtualisée. La plateforme se distingue par une suite robuste de capacités opérationnelles qui s'étendent au-delà de la gestion de base de données standard. Elle dispose d'un pipeline d'observabilité intégré qui agrège les métriques, les logs et les traces dans des tableaux de bord centralisés pour une surveillance des performances en temps réel et une analyse diagnostique. De plus, elle fournit un framework de migration qui émule les protocoles filaires propriétaires et la syntaxe SQL, permettant l'intégration de charges de travail de base de données d'entreprise héritées dans des environnements relationnels modernes. Le système couvre une large surface fonctionnelle, y compris la gestion avancée du stockage avec clonage par copie sur écriture pour un déploiement rapide, et l'orchestration multi-base de données qui coordonne les moteurs relationnels avec la mise en cache et le stockage d'objets. Il intègre également le renforcement de la sécurité, la sauvegarde et la récupération automatisées, et le routage du trafic via des proxys en couches pour découpler les connexions client de la topologie de cluster sous-jacente. Le projet est distribué sous forme de modèle de miroir de package autonome, permettant un déploiement et une gestion des dépendances cohérents dans des environnements sécurisés ou isolés.
Duplicates database data directories using filesystem-specific cloning features for rapid replication.
Effector is a reactive state management library designed for building complex, event-driven applications. It functions as a data flow engine that models application logic as a directed acyclic graph, ensuring that state updates propagate automatically through interconnected nodes. By utilizing atomic state updates and declarative unit composition, the library maintains data consistency and provides a predictable execution model for managing application state. The project distinguishes itself through its framework-agnostic architecture, which decouples business logic from user interface implem
Generates local instances of shared asynchronous operations to allow component-specific event subscriptions.
Mapperly est un générateur de code source C# utilisé pour le mappage objet-à-objet haute performance dans .NET. Il fonctionne comme une bibliothèque de mappage à la compilation qui produit le code de transformation nécessaire durant le processus de build, éliminant le besoin de réflexion à l'exécution lors de la conversion entre modèles de domaine et objets de transfert de données (DTO). L'outil se distingue par sa validation diagnostique typée et son application stricte du mappage, émettant des avertissements pour les propriétés non mappées au moment de la compilation. Il inclut des fonctionnalités spécialisées pour la gestion des références circulaires et le clonage profond afin de maintenir l'identité des objets et d'éviter les boucles infinies lors de transformations complexes. Le projet couvre un large éventail de tâches de transformation, y compris l'aplatissement de hiérarchies d'objets imbriquées, la conversion de divers types de collections et de spans, ainsi qu'un mappage complet des énumérations entre chaînes et types primitifs. Il prend également en charge l'intégration de bases de données via la projection de requêtes, traduisant les définitions de mappage en arbres d'expressions pour optimiser la récupération des champs depuis des sources requêtables. Les options de configuration permettent des fabriques d'objets personnalisées, des exclusions au niveau des membres et l'intégration d'une logique de mappage définie par l'utilisateur. Le code source généré peut être exporté vers un répertoire configurable pour inspection manuelle et contrôle de version.
Creates full independent copies of nested objects and collections to isolate data.
Stellar is a command-line utility designed to manage local PostgreSQL database states by capturing and restoring snapshots. It functions as a development tool that enables rapid environment provisioning and state switching, allowing users to maintain consistent database configurations during iterative testing and debugging cycles. The tool operates by interacting directly with the underlying filesystem rather than relying on traditional database dump and restore processes. It utilizes low-level mechanisms such as atomic pointer swapping, binary manipulation, and zero-copy cloning to create po
Utilizes operating system features to duplicate file references without physically copying underlying data blocks.
SlateDB is a cloud-native key-value store and distributed database engine that utilizes a log-structured merge-tree architecture. It serves as a transactional storage layer designed to persist data directly to cloud object storage. The engine differentiates itself by optimizing read performance for remote storage through the use of bloom filters and multi-level block caching. It employs a single-writer multi-reader model and provides the ability to create zero-copy clones via copy-on-write checkpointing. The system supports atomic transactions, range queries, and snapshot-based concurrency c
Creates checkpoints to fork or split data sets without duplicating the physical storage on disk.