4 repository-uri
Synchronization methods that only transmit the specific parts of a file that have changed since the last update.
Explore 4 awesome GitHub repositories matching networking & communication · Block-Level Delta Synchronization. Refine with filters or upvote what's useful.
Syncthing este un motor de sincronizare a fișierelor descentralizat care menține stări de date consistente pe mai multe dispozitive prin rețele mesh peer-to-peer. Acesta funcționează ca un daemon de fundal care replică automat creările, modificările și ștergerile de fișiere între noduri de încredere, fără a necesita servere centrale. Utilizând indexarea blocurilor adresabile prin conținut și sincronizarea delta la nivel de bloc, sistemul identifică și transferă doar segmentele modificate ale fișierelor, asigurând o propagare eficientă a datelor în medii eterogene. Proiectul se distinge printr-o arhitectură axată pe securitate care se bazează pe autentificarea mutuală TLS pentru a verifica identitatea dispozitivului, asigurându-se că toate conexiunile sunt legate criptografic de amprentele certificatelor de încredere. Acesta acceptă moduri de sincronizare flexibile, inclusiv replicare bidirecțională, oglindire unidirecțională pentru backup-uri și aplicare bazată pe referință. Pentru o confidențialitate sporită, sistemul oferă criptare la nivel de folder pentru dispozitivele neîncrezătoare și permite un control granular asupra traficului de rețea, inclusiv capacitatea de a restricționa operațiunile la rețelele locale sau de a utiliza infrastructura de releu pentru traversarea NAT. Dincolo de capacitățile sale de replicare de bază, platforma oferă instrumente de gestionare cuprinzătoare, inclusiv un tablou de bord bazat pe web pentru monitorizarea stării conexiunii și a debitului, precum și o interfață de linie de comandă pentru configurare avansată. Include strategii robuste de versionare pentru a proteja împotriva pierderii datelor și acceptă scenarii complexe de implementare prin integrarea nativă a serviciilor și metrici de observabilitate. Software-ul este conceput pentru compatibilitate cross-platform și poate fi instalat prin manageri de pachete standard sau medii containerizate.
Transfers only the modified segments of a file by computing and comparing block-level hashes between peers.
Seafile is a self-hosted file synchronization and sharing platform that provides a central server for maintaining file consistency across multiple devices. It functions as a cloud storage management system and a collaborative document suite, integrating tools for real-time teamwork and shared file management. The platform distinguishes itself through a metadata-driven file organizer that uses extensible properties and hierarchical tags instead of traditional folder structures. It includes client-side encrypted storage to protect private data using user-defined passwords before files leave the
Implements block-level delta synchronization to transmit only modified file chunks, reducing bandwidth consumption.
SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra
Transfers only changed byte positions and values between training and inference servers to reduce bandwidth.
Acest proiect este un utilitar bazat pe shell-script conceput pentru clonarea și sincronizarea discurilor de sistem Linux. Permite crearea de copii bootabile ale dispozitivelor de stocare active, permițând utilizatorilor să mențină backup-uri funcționale sau să pregătească noi medii de stocare pentru medii de calcul embedded. Instrumentul efectuează clonarea conștientă de partiții prin analizarea structurii unității sursă pentru a recrea layout-uri identice pe discurile de destinație. Se distinge prin modificarea fișierelor de configurare de boot și a identificatorilor de partiție pe unitatea țintă, ceea ce asigură că mediile clonate rămân bootabile atunci când sunt mutate pe hardware nou. Dincolo de clonarea inițială, utilitarul suportă sincronizarea incrementală pentru a actualiza backup-urile existente prin transferul doar a blocurilor de date modificate. Acest proces este gestionat printr-un flux de execuție procedural care coordonează utilitarele de disc de nivel scăzut în timp ce sistemul de operare rămâne operațional.
Transfers only modified data blocks between disks to minimize backup duration and resource usage.