4 dépôts
Synchronization methods that only transmit the specific parts of a file that have changed since the last update.
Explore 4 awesome GitHub repositories matching networking & communication · Block-Level Delta Synchronization. Refine with filters or upvote what's useful.
Syncthing est un moteur de synchronisation de fichiers décentralisé qui maintient des états de données cohérents sur plusieurs appareils via un réseau maillé peer-to-peer. Il fonctionne comme un démon en arrière-plan qui réplique automatiquement les créations, modifications et suppressions de fichiers entre des nœuds de confiance sans nécessiter de serveurs centraux. En utilisant l'indexation de blocs adressables par contenu et la synchronisation delta au niveau des blocs, le système identifie et transfère uniquement les segments modifiés des fichiers, assurant une propagation efficace des données dans des environnements hétérogènes. Le projet se distingue par une architecture axée sur la sécurité qui repose sur l'authentification mutuelle TLS pour vérifier l'identité des appareils, garantissant que toutes les connexions sont liées cryptographiquement aux empreintes de certificats de confiance. Il prend en charge des modes de synchronisation flexibles, notamment la réplication bidirectionnelle, la mise en miroir unidirectionnelle pour les sauvegardes et l'application basée sur des références. Pour plus de confidentialité, le système fournit un chiffrement au niveau des dossiers pour les appareils non approuvés et permet un contrôle granulaire du trafic réseau, y compris la possibilité de restreindre les opérations aux réseaux locaux ou d'utiliser une infrastructure de relais pour le franchissement NAT. Au-delà de ses capacités de réplication de base, la plateforme offre des outils de gestion complets, notamment un tableau de bord web pour surveiller l'état de la connexion et le débit, ainsi qu'une interface de ligne de commande pour une configuration avancée. Il inclut des stratégies de versionnage robustes pour protéger contre la perte de données et prend en charge des scénarios de déploiement complexes grâce à une intégration native des services et des métriques d'observabilité. Le logiciel est conçu pour une compatibilité multiplateforme et peut être installé via des gestionnaires de paquets standard ou des environnements conteneurisés.
Transfers only the modified segments of a file by computing and comparing block-level hashes between peers.
Seafile is a self-hosted file synchronization and sharing platform that provides a central server for maintaining file consistency across multiple devices. It functions as a cloud storage management system and a collaborative document suite, integrating tools for real-time teamwork and shared file management. The platform distinguishes itself through a metadata-driven file organizer that uses extensible properties and hierarchical tags instead of traditional folder structures. It includes client-side encrypted storage to protect private data using user-defined passwords before files leave the
Implements block-level delta synchronization to transmit only modified file chunks, reducing bandwidth consumption.
SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra
Transfers only changed byte positions and values between training and inference servers to reduce bandwidth.
Ce projet est un utilitaire en script shell conçu pour cloner et synchroniser les disques système Linux. Il permet la création de copies amorçables de périphériques de stockage actifs, permettant aux utilisateurs de maintenir des sauvegardes fonctionnelles ou de préparer de nouveaux supports de stockage pour des environnements informatiques embarqués. L'outil effectue un clonage conscient des partitions en analysant la structure du disque source pour recréer des mises en page identiques sur les disques de destination. Il se distingue en modifiant les fichiers de configuration de démarrage et les identifiants de partition sur le disque cible, ce qui garantit que les supports clonés restent amorçables lorsqu'ils sont déplacés vers un nouveau matériel. Au-delà du clonage initial, l'utilitaire prend en charge la synchronisation incrémentale pour mettre à jour les sauvegardes existantes en transférant uniquement les blocs de données modifiés. Ce processus est géré via un flux d'exécution procédural qui coordonne les utilitaires de disque de bas niveau pendant que le système d'exploitation reste opérationnel.
Transfers only modified data blocks between disks to minimize backup duration and resource usage.