12 repositorios
Mechanisms for creating instant, logically independent copies of datasets without physically duplicating data on disk.
Distinct from Physical Disk Cloning: None of the candidates cover database-level copy-on-write checkpointing; they focus on physical disk cloning, language-level object cloning, or DMA memory transfers.
Explore 12 awesome GitHub repositories matching data & databases · Zero-Copy Cloning. Refine with filters or upvote what's useful.
HVM2 is a high-performance execution environment for pure functional programs, implemented as a systems-level runtime in Rust. It functions as a massively parallel functional runtime that uses interaction combinators to achieve automatic parallelism across multi-core CPUs and GPUs. The project distinguishes itself by using a graph-rewriting computational model to execute programs via local reduction rules, which eliminates the need for manual locks or atomic operations. It employs beta-optimal reduction and lazy evaluation to optimize higher-order functions and eliminate redundant computation
Defers copying of shared values until they are read to make data duplication computationally efficient.
class-transformer is a TypeScript library that converts plain JavaScript objects into typed class instances and back, using decorators to define transformation rules. It serves as a decorator-based object transformer, JSON deserialization library, and property transformation framework, enabling type-safe serialization and deserialization of class instances. The library distinguishes itself through comprehensive property filtering and mapping capabilities. It supports excluding properties by default, by prefix, by operation (serialization or deserialization), or by explicit marking, as well as
Provides deep cloning of class instances to create independent copies with preserved nested structures.
MobX State Tree is a structured, tree-based state management library for JavaScript applications that combines typed model definitions with reactive snapshots and patch-based change tracking. It provides a reactive state container with runtime and compile-time type safety, where application state is defined as a tree of typed models with collocated actions, computed views, and lifecycle hooks for predictable state mutations. The library is built around an action-centric mutation model that encapsulates all state changes within named functions that directly modify the tree, supported by genera
Creates deep independent copies of state tree nodes as new standalone trees.
Kryo is a Java binary serialization framework and object cloning library used to convert Java objects into a compact binary format and restore them from bytes. It provides a system for creating deep or shallow copies of complex object graphs without requiring binary conversion. The project utilizes variable-length integer encoding and integer-ID class registration to reduce the size of serialized data. It handles complex object graphs through circular reference tracking to prevent data duplication and infinite loops. To maintain long-term data viability, it includes schema evolution managemen
Creates full independent copies of complex Java object graphs to avoid modifying original instances.
From Java To Kotlin - Your Cheat Sheet For Java To Kotlin
Demonstrates Kotlin's data class copy() function for cloning with property overrides.
attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it
Creates a modified copy of an existing instance by specifying which attribute values to change.
lakeFS es un sistema de versionado de lagos de datos que proporciona ramificaciones (branching) y commits similares a Git para grandes conjuntos de datos almacenados en almacenamiento de objetos. Funciona como una capa de control de versiones, permitiendo la creación de instantáneas inmutables, commits atómicos y ramificaciones de copia cero para crear entornos aislados para la experimentación de datos sin duplicar archivos físicos. El sistema sirve como una puerta de enlace de almacenamiento compatible con S3 y un catálogo REST de Iceberg, permitiendo que los protocolos de almacenamiento en la nube estándar y los clientes compatibles gestionen tablas versionadas. Actúa como un guardián de calidad de datos mediante el uso de un sistema de hooks basado en eventos para validar conjuntos de datos contra políticas de gobernanza antes de que los cambios se fusionen en producción. La plataforma cubre amplias capacidades para la gobernanza de datos, incluyendo colaboración mediante pull requests, control de acceso basado en roles y seguimiento del linaje de datos. Proporciona integración para la orquestación de flujos de trabajo, pipelines de aprendizaje automático y varios motores de cómputo de big data, soportando conectividad de almacenamiento multi-nube y sincronización de identidad mediante SSO y SCIM. El software se puede instalar utilizando binarios, contenedores o Helm charts para su despliegue en Kubernetes.
Creates lightweight isolated namespaces for datasets without duplicating the underlying physical data files.
Pigsty es una plataforma integral de orquestación de infraestructura de bases de datos diseñada para automatizar el ciclo de vida completo de clústeres de PostgreSQL de alta disponibilidad. Funciona como un framework de infraestructura como código que gestiona la coordinación de clústeres, el aprovisionamiento de nodos y el descubrimiento de servicios a través de playbooks idempotentes. Al integrar mecanismos de consenso distribuido, la plataforma garantiza la conmutación por error automatizada y la aplicación de estado consistente en diversos entornos, incluyendo infraestructura bare metal y virtualizada. La plataforma se distingue por un sólido conjunto de capacidades operativas que se extienden más allá de la gestión estándar de bases de datos. Cuenta con una tubería de observabilidad integrada que agrega métricas, registros y trazas en paneles centralizados para la monitorización del rendimiento en tiempo real y el análisis de diagnóstico. Además, proporciona un framework de migración que emula protocolos de cable propietarios y sintaxis SQL, permitiendo la integración de cargas de trabajo de bases de datos empresariales heredadas en entornos relacionales modernos. El sistema cubre una amplia superficie funcional, incluyendo gestión avanzada de almacenamiento con clonación de copia en escritura para un despliegue rápido, y orquestación de múltiples bases de datos que coordina motores relacionales con almacenamiento en caché y almacenamiento de objetos. También incorpora endurecimiento de seguridad, copia de seguridad y recuperación automatizadas, y enrutamiento de tráfico a través de proxies en capas para desacoplar las conexiones de los clientes de la topología del clúster subyacente. El proyecto se distribuye como un modelo de espejo de paquetes autónomo, lo que permite un despliegue y una gestión de dependencias consistentes en entornos seguros o aislados.
Duplicates database data directories using filesystem-specific cloning features for rapid replication.
Effector is a reactive state management library designed for building complex, event-driven applications. It functions as a data flow engine that models application logic as a directed acyclic graph, ensuring that state updates propagate automatically through interconnected nodes. By utilizing atomic state updates and declarative unit composition, the library maintains data consistency and provides a predictable execution model for managing application state. The project distinguishes itself through its framework-agnostic architecture, which decouples business logic from user interface implem
Generates local instances of shared asynchronous operations to allow component-specific event subscriptions.
Mapperly es un generador de código fuente en C# utilizado para el mapeo de objetos de alto rendimiento en .NET. Funciona como una librería de mapeo en tiempo de compilación que produce el código de transformación necesario durante el proceso de compilación, eliminando la necesidad de reflexión en tiempo de ejecución al convertir entre modelos de dominio y objetos de transferencia de datos (DTO). La herramienta se distingue por proporcionar validación de diagnóstico con seguridad de tipos y una aplicación estricta de mapeo, emitiendo advertencias para propiedades no mapeadas en tiempo de compilación. Incluye capacidades especializadas para el manejo de referencias circulares y clonación profunda para mantener la identidad de los objetos y evitar bucles infinitos durante transformaciones complejas. El proyecto cubre una amplia gama de tareas de transformación, incluyendo el aplanamiento de jerarquías de objetos anidados, la conversión de varios tipos de colecciones y spans, y un mapeo completo de enums entre cadenas y tipos primitivos. También admite la integración con bases de datos mediante proyección de consultas, traduciendo definiciones de mapeo en árboles de expresiones para optimizar la recuperación de campos desde fuentes consultables. Las opciones de configuración permiten fábricas de objetos personalizadas, exclusiones a nivel de miembro y la integración de lógica de mapeo definida por el usuario. El código fuente generado puede exportarse a un directorio configurable para inspección manual y control de versiones.
Creates full independent copies of nested objects and collections to isolate data.
Stellar is a command-line utility designed to manage local PostgreSQL database states by capturing and restoring snapshots. It functions as a development tool that enables rapid environment provisioning and state switching, allowing users to maintain consistent database configurations during iterative testing and debugging cycles. The tool operates by interacting directly with the underlying filesystem rather than relying on traditional database dump and restore processes. It utilizes low-level mechanisms such as atomic pointer swapping, binary manipulation, and zero-copy cloning to create po
Utilizes operating system features to duplicate file references without physically copying underlying data blocks.
SlateDB is a cloud-native key-value store and distributed database engine that utilizes a log-structured merge-tree architecture. It serves as a transactional storage layer designed to persist data directly to cloud object storage. The engine differentiates itself by optimizing read performance for remote storage through the use of bloom filters and multi-level block caching. It employs a single-writer multi-reader model and provides the ability to create zero-copy clones via copy-on-write checkpointing. The system supports atomic transactions, range queries, and snapshot-based concurrency c
Creates checkpoints to fork or split data sets without duplicating the physical storage on disk.