Awesome GitHub RepositoriesCore Data Sync Servers

IPFS is a peer-to-peer hypermedia protocol and content-addressed storage system that identifies data by cryptographic hashes rather than network locations. It enables the creation of a decentralized web by organizing files and directories as directed acyclic graphs of linked content identifiers. The project differentiates itself through the use of a distributed hash table for locating peers and a system of signed records to map human-readable names to changing content. It also provides HTTP gateways that translate standard web requests into peer-to-peer queries, allowing decentralized data to

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

Rook is a Kubernetes storage orchestrator and distributed storage operator that automates the deployment and management of storage clusters. It serves as a multi-protocol storage provider, offering block, file, and object storage capabilities to containerized workloads. The system focuses on providing a self-healing storage cluster that replicates data across hardware nodes to maintain availability and recover from failures. It uses an operator-led model to handle the installation, scaling, and upgrades of storage nodes and daemons. The orchestrator covers a broad range of provisioning servi

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

deepstream.io is an open-source realtime server that synchronizes JSON records, events, and remote procedure calls across clients and backend services. It functions as a realtime data sync server, event pub/sub server, record database server, and RPC server, all within a single platform. The server authenticates and authorizes every message using multiple strategies including JWT, HTTP, and file-based credentials, with a declarative permission language controlling access to records, events, and RPCs at a granular level. The platform distinguishes itself through its combination of realtime dat

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Taskwarrior is a command-line task manager that lets you create, modify, filter, and complete to-do items directly from the terminal. It stores all tasks in a single plain-text file for portability and manual editing, and includes a custom expression language for selecting tasks by status, priority, tags, and date ranges. The tool distinguishes itself through several integrated capabilities. It computes a numeric urgency score for each task based on weighted factors like age, tags, and due date to determine ordering. A recurrence template engine generates new task instances from a template af

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

Fluvio este o platformă distribuită de streaming de evenimente și un motor de streaming cloud-native conceput pentru colectarea, persistența și replicarea fluxurilor de date în timp real într-un cluster distribuit. Funcționează ca un pipeline de date în timp real pentru construirea fluxurilor de lucru cu stare care ingerează, îmbogățesc și exportă date între surse și destinații externe. Platforma se distinge prin utilizarea WebAssembly pentru a executa module compilate pentru transformări și filtrare de date în linie. Acest lucru permite execuția logicii de business personalizate pentru a remodela informațiile în mișcare fără a necesita o repornire a clusterului. Sistemul acoperă o gamă largă de capabilități, inclusiv ingestia de date bazată pe conectori din protocoale externe, stocare imutabilă structurată pe log-uri cu IO de tip zero-copy și scalarea orizontală a clusterului. Suportă crearea de pipeline-uri complexe bazate pe evenimente care utilizează procesarea cu stare, agregări pe ferestre și distribuția datelor bazată pe partiții. Motorul poate fi implementat ca un binar ușor pe diverse arhitecturi de sistem, inclusiv dispozitive IoT ARM64 pentru procesarea datelor la margine (edge).

GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Derby este un framework MVC izomorf și un motor de sincronizare a datelor în timp real, conceput pentru construirea de aplicații colaborative. Funcționează ca o bibliotecă de data binding bidirecțional și un motor de șabloane care partajează o singură bază de cod între Node.js și browser pentru a sincroniza starea între clienți și servere. Framework-ul se distinge prin utilizarea transformării operaționale pentru a rezolva automat conflictele de date, permițând editarea partajată în timp real și colaborarea multi-utilizator. Utilizează un model de mutație a stării diferențiale pentru a minimiza actualizările prin efectuarea de verificări de egalitate profundă, asigurându-se că doar valorile modificate sunt propagate. Platforma acoperă o gamă largă de capabilități, inclusiv gestionarea reactivă a stării, rutarea izomorfă și dezvoltarea modulară a componentelor UI. Oferă instrumente pentru gestionarea căilor de date imbricate, executarea randării izomorfe pentru încărcări inițiale rapide și integrarea cu middleware-ul serverului. Sistemul este implementat folosind TypeScript.

Iggy este o platformă distribuită de streaming de mesaje și un broker de mesaje multi-protocol care funcționează ca un magazin de log-uri distribuite persistente. Oferă infrastructură pentru publicarea și consumarea mesajelor binare folosind un log de tip append-only, asigurând disponibilitate ridicată și consistența datelor între noduri prin Viewstamped Replication. Platforma se distinge prin infrastructura sa specializată de streaming pentru LLM-uri, care utilizează un protocol de server pentru a conecta modelele de limbaj mari la datele de streaming și la controalele sistemului. Aceasta include protocoale standardizate pentru gestionarea contextului și bridging-ul datelor prin HTTP sau input-output standard. Sistemul acoperă un set larg de capabilități, inclusiv orchestrarea pipeline-urilor de date cu plugin-uri modulare de sursă și destinație, coordonarea grupurilor de consumatori pentru scalare orizontală și suport pentru transport multi-protocol prin TCP, QUIC, HTTP și WebSocket. De asemenea, încorporează primitive de securitate precum criptarea AES-256-GCM pentru datele stocate și în tranzit, și oferă observabilitate prin metrici Prometheus, tracing OpenTelemetry și un dashboard web operațional. Serverul poate fi implementat folosind imagini de container și orchestrat prin Kubernetes.

Dynomite este un strat de sharding de date distribuit și un proxy pentru motorul de stocare key-value. Acesta funcționează ca un strat de distribuție care fragmentează (shard) și replică datele pe mai multe noduri, transformând datastore-urile cu un singur server în sisteme peer-to-peer scalabile. Sistemul acționează ca un replicator de date multi-datacenter, sincronizând datele între diferite locații geografice pentru a asigura reziliența și disponibilitatea ridicată în timpul defecțiunilor site-ului. Gestionează distribuția datelor key-value pentru a permite scalarea liniară a datastore-ului și stocarea redundantă. Proiectul oferă capabilități pentru sharding-ul motorului de stocare și rețelistică de înaltă disponibilitate. Acesta rutează cererile primite către motoarele de stocare locale sau la distanță, menținând în același timp protocoalele de comunicare și securizând comunicarea între noduri prin criptare.

go-fastdfs este un sistem de fișiere distribuit și un server de stocare de obiecte conceput pentru construirea de stocare în cloud privat. Oferă o implementare de stocare compatibilă cu FastDFS care gestionează clustere de noduri de stocare pentru a gestiona încărcări și descărcări de fișiere la scară largă. Sistemul se concentrează pe disponibilitate ridicată printr-o arhitectură descentralizată care sincronizează automat datele și repară defecțiunile între mai multe mașini fără un coordonator central. Suportă în mod specific stocarea fișierelor cu reluare prin HTTP, permițând transferurilor mari să fie întrerupte și reluate de la ultimul octet reușit pentru a gestiona instabilitatea rețelei. Capabilitățile de bază includ optimizarea resurselor de stocare prin deduplicarea conținutului bazată pe SHA1 și îmbinarea fișierelor mici pentru a reduce consumul de inode-uri al sistemului de fișiere. Proiectul încorporează, de asemenea, un pipeline de procesare a imaginilor care efectuează scalarea și redimensionarea dinamică a imaginilor în timpul procesului de descărcare și securizează accesul la fișiere folosind autentificarea bazată pe token-uri. Sistemul poate fi implementat prin containere Docker.

Helios is a mobile backend as a service providing a server-side platform to manage user accounts, push notifications, and data synchronization for mobile applications. It functions as a REST API framework that automatically generates database tables and standard web service endpoints from defined data models. The project implements specialized services for the Apple ecosystem, including a Passbook service for managing digital passes and device registration. It also provides an in-app purchase verification service to decode purchase receipts and validate product identifiers through external ve

Riak este un magazin NoSQL de tip cheie-valoare descentralizat, conceput pentru disponibilitate ridicată și toleranță la erori. Este o bază de date distribuită de tip Dynamo care utilizează hashing consistent și consistență eventuală pentru a scala datele într-un cluster de noduri. Sistemul funcționează ca un datastore geo-replicat, sincronizând datele în mai multe locații fizice pentru a oferi recuperare în caz de dezastru și a menține disponibilitatea în timpul întreruperilor regionale. Utilizează un model de replicare multi-master, permițând scrieri către orice nod din cluster. Platforma acoperă domenii largi de capabilități, inclusiv coordonarea descentralizată a clusterelor, gestionarea datelor cu disponibilitate ridicată și expirarea datelor la scară largă. Gestionează durabilitatea datelor prin consistență bazată pe cvorum și verificare la scriere, utilizând totodată structuri de date specializate pentru a îmbina automat actualizările concurente.

Olric is a distributed data grid and in-memory key-value store that partitions and replicates data across a cluster of servers. It serves as a shared memory system for managing distributed maps, performing atomic operations, and acting as an in-memory data cache. The system provides a distributed locking mechanism for concurrency control and a pub-sub messaging system that broadcasts and routes messages over named channels across the cluster. The platform covers wide-ranging capabilities including cluster management and orchestration, data replication with configurable quorums, and automated

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa