4 repositorios
Synchronization methods that only transmit the specific parts of a file that have changed since the last update.
Explore 4 awesome GitHub repositories matching networking & communication · Block-Level Delta Synchronization. Refine with filters or upvote what's useful.
Syncthing es un motor de sincronización de archivos descentralizado que mantiene estados de datos consistentes en múltiples dispositivos a través de redes mesh peer-to-peer. Funciona como un demonio en segundo plano que replica automáticamente las creaciones, modificaciones y eliminaciones de archivos entre nodos de confianza sin necesidad de servidores centrales. Al utilizar indexación de bloques direccionable por contenido y sincronización delta a nivel de bloque, el sistema identifica y transfiere solo los segmentos modificados de los archivos, asegurando una propagación de datos eficiente en entornos heterogéneos. El proyecto se distingue por una arquitectura centrada en la seguridad que se basa en la autenticación TLS mutua para verificar la identidad del dispositivo, asegurando que todas las conexiones estén vinculadas criptográficamente a huellas digitales de certificados de confianza. Admite modos de sincronización flexibles, incluyendo replicación bidireccional, duplicación unidireccional para copias de seguridad y cumplimiento basado en referencias. Para mayor privacidad, el sistema proporciona cifrado a nivel de carpeta para dispositivos no confiables y permite un control granular del tráfico de red, incluida la capacidad de restringir operaciones a redes locales o utilizar infraestructura de retransmisión para el cruce de NAT. Más allá de sus capacidades principales de replicación, la plataforma ofrece herramientas de gestión integrales, incluido un panel basado en web para monitorear el estado de la conexión y el rendimiento, así como una interfaz de línea de comandos para una configuración avanzada. Incluye estrategias de versionado robustas para proteger contra la pérdida de datos y admite escenarios de despliegue complejos a través de la integración de servicios nativos y métricas de observabilidad. El software está diseñado para la compatibilidad multiplataforma y puede instalarse a través de gestores de paquetes estándar o entornos contenedorizados.
Transfers only the modified segments of a file by computing and comparing block-level hashes between peers.
Seafile is a self-hosted file synchronization and sharing platform that provides a central server for maintaining file consistency across multiple devices. It functions as a cloud storage management system and a collaborative document suite, integrating tools for real-time teamwork and shared file management. The platform distinguishes itself through a metadata-driven file organizer that uses extensible properties and hierarchical tags instead of traditional folder structures. It includes client-side encrypted storage to protect private data using user-defined passwords before files leave the
Implements block-level delta synchronization to transmit only modified file chunks, reducing bandwidth consumption.
SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra
Transfers only changed byte positions and values between training and inference servers to reduce bandwidth.
Este proyecto es una utilidad basada en scripts de shell diseñada para clonar y sincronizar discos de sistemas Linux. Permite la creación de copias arrancables de dispositivos de almacenamiento activos, permitiendo a los usuarios mantener copias de seguridad funcionales o preparar nuevos medios de almacenamiento para entornos de computación embebida. La herramienta realiza una clonación consciente de particiones analizando la estructura de la unidad de origen para recrear diseños idénticos en los discos de destino. Destaca por modificar los archivos de configuración de arranque y los identificadores de partición en la unidad de destino, lo que garantiza que los medios clonados sigan siendo arrancables cuando se mueven a un nuevo hardware. Más allá de la clonación inicial, la utilidad admite la sincronización incremental para actualizar las copias de seguridad existentes transfiriendo solo los bloques de datos modificados. Este proceso se gestiona a través de un flujo de ejecución procedimental que coordina las utilidades de disco de bajo nivel mientras el sistema operativo permanece operativo.
Transfers only modified data blocks between disks to minimize backup duration and resource usage.