Awesome GitHub RepositoriesExternal System Integrations

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Easegress is a cloud-native traffic orchestration platform that functions as a multi-protocol API gateway and service mesh proxy. It routes, transforms, and orchestrates HTTP and MQTT traffic through configurable filter chains, providing high availability, security controls, and resilience for backend services. The platform integrates with service discovery systems like Kubernetes, Consul, and Eureka to dynamically route traffic to discovered services with automatic failover and health monitoring. The system distinguishes itself through a pipeline-based filter chain architecture where request

KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates

pyinfra is a Python-based infrastructure automation framework that turns Python code into shell commands for managing servers, Docker containers, and local machines. It operates as a declarative, idempotent deployment tool, applying desired system states by comparing target configurations against current states and making only the necessary changes. The framework provides a connector-based transport abstraction that unifies SSH, Docker, and local execution behind a common interface, with a parallel execution engine that manages concurrent operations across hosts. The tool distinguishes itself

Sparrow este o platformă LLM pentru extracția documentelor și un motor de inferență bazat pe viziune, conceput pentru a converti imagini și PDF-uri în date structurate validate. Funcționează ca un orchestrator de fluxuri de lucru agentice care înlănțuie sarcini de clasificare, extracție și validare în pipeline-uri multi-etapă. Sistemul se distinge printr-un strat de inferență agnostic față de backend, care gestionează modele pe GPU-uri locale, Apple Silicon și furnizori cloud. Utilizează grounding vizual bazat pe coordonate pentru a mapa textul extras la coordonate precise de tip bounding box și folosește direcționarea modelelor bazată pe indicii pentru a ghida atenția și a normaliza formatele de date. Platforma acoperă fluxuri de lucru de inteligență documentară, inclusiv procesarea specializată a tabelelor bazată pe imagini pentru a menține integritatea structurală și validarea bazată pe schemă pentru a verifica corectitudinea câmpurilor extrase. Oferă, de asemenea, un dashboard de analiză a documentelor pentru monitorizarea performanței API-ului, a analizei de utilizare și a stării sistemului. Arhitectura include un sistem de extensie bazat pe plugin-uri pentru integrarea bibliotecilor terțe utilizate în indexare și orchestrare.

OpenTSDB este o bază de date distribuită de serii temporale și un motor de metrici conceput pentru stocarea și gestionarea unor volume masive de metrici de sistem cu cardinalitate ridicată. Acesta funcționează ca un depozit de date și o platformă de analiză care permite ingestia de metrici la scară largă și monitorizarea performanței infrastructurii într-un cluster distribuit. Sistemul se distinge printr-o abstractizare a stocării distribuite care suportă mai multe backend-uri, cum ar fi HBase, Cassandra și Google Bigtable. Utilizează un arbore ierarhic de metrici pentru a organiza seriile temporale și folosește indexarea cu identificatori numerici pentru a reduce amprenta de stocare și a accelera căutările pentru metricile etichetate. Proiectul acoperă domenii largi de capabilități, inclusiv analiza datelor de serii temporale cu calcule distribuite de percentile și downsampling, precum și gestionarea cuprinzătoare a metadatelor. Oferă integrare API pentru ingestia și interogarea datelor, caching off-heap pentru optimizarea performanței și instrumente pentru auditarea integrității datelor și analiza anomaliilor. Sistemul este gestionat printr-o interfață linie de comandă pentru administrarea bazei de date și sincronizarea arborelui de metrici.

WuKongIM este un server de mesagerie instant distribuit, conceput pentru chat în timp real și notificări. Funcționează ca un cluster de comunicare descentralizat care utilizează un router de mesaje pub-sub pentru a distribui date către utilizatori individuali și canale de grup la scară largă. Sistemul include un protocol specializat de streaming pentru chat AI, pentru a livra răspunsuri incrementale cu latență scăzută de la agenții de inteligență artificială. De asemenea, dispune de un gateway de evenimente webhook care redirecționează schimbările de stare a comunicării și evenimentele de mesaje către aplicații de business externe prin callback-uri. Platforma oferă infrastructură pentru comunicare de grup de mare capacitate, sincronizarea mesajelor între dispozitive și urmărirea conversațiilor bazată pe stare. Securitatea este gestionată prin criptarea la nivel de transport și accesul la canale bazat pe permisiuni, în timp ce fiabilitatea sistemului este menținută prin failover automat, recuperare în caz de dezastru și monitorizarea sănătății bazată pe heartbeat.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

o2oa este o platformă open-source de automatizare a biroului Java enterprise concepută pentru a gestiona fluxurile de lucru corporative, ierarhiile organizaționale și sarcinile de birou colaborative. Acesta funcționează ca o platformă de aplicații de afaceri low-code și un portal de informații corporative, oferind un mediu de dezvoltare vizual pentru construirea de aplicații enterprise personalizate. Platforma se distinge prin motorul său integrat de flux de lucru enterprise, care permite proiectarea și automatizarea proceselor de afaceri folosind condiții de rutare personalizabile și scripturi bazate pe evenimente. Se diferențiază în continuare ca un framework enterprise multi-bază de date, suportând diverse baze de date relaționale și implementări de înaltă disponibilitate pe diferite sisteme de operare. Sistemul acoperă o gamă largă de domenii de capabilități, inclusiv modelarea vizuală low-code pentru formulare și pagini, designul portalului centralizat cu dashboard-uri bazate pe date și integrarea datelor enterprise cu servicii RESTful și modele de limbaj mari. De asemenea, încorporează gestionarea structurii organizaționale, controlul accesului bazat pe roluri și implementarea mobilă multi-platformă pentru Android, iOS și HarmonyOS. Instalarea este susținută pe medii Linux și Windows folosind Docker și Nginx.

Iggy este o platformă distribuită de streaming de mesaje și un broker de mesaje multi-protocol care funcționează ca un magazin de log-uri distribuite persistente. Oferă infrastructură pentru publicarea și consumarea mesajelor binare folosind un log de tip append-only, asigurând disponibilitate ridicată și consistența datelor între noduri prin Viewstamped Replication. Platforma se distinge prin infrastructura sa specializată de streaming pentru LLM-uri, care utilizează un protocol de server pentru a conecta modelele de limbaj mari la datele de streaming și la controalele sistemului. Aceasta include protocoale standardizate pentru gestionarea contextului și bridging-ul datelor prin HTTP sau input-output standard. Sistemul acoperă un set larg de capabilități, inclusiv orchestrarea pipeline-urilor de date cu plugin-uri modulare de sursă și destinație, coordonarea grupurilor de consumatori pentru scalare orizontală și suport pentru transport multi-protocol prin TCP, QUIC, HTTP și WebSocket. De asemenea, încorporează primitive de securitate precum criptarea AES-256-GCM pentru datele stocate și în tranzit, și oferă observabilitate prin metrici Prometheus, tracing OpenTelemetry și un dashboard web operațional. Serverul poate fi implementat folosind imagini de container și orchestrat prin Kubernetes.

Zeebe este un motor de workflow cloud-native și o mașină de stare distribuită concepută pentru orchestrarea proceselor de business folosind standardele BPMN și DMN. Operează ca un runtime de workflow gRPC de înaltă performanță care execută procese de business complexe printr-o arhitectură de event-streaming partiționată. Sistemul funcționează, de asemenea, ca un orchestrator pentru agenți de tip LLM, coordonând raționamentul AI și utilizarea instrumentelor în cadrul proceselor de business deterministe. Motorul se distinge prin rețeaua de brokeri peer-to-peer și un model de replicare a datelor bazat pe consens care asigură disponibilitate ridicată și toleranță la erori. Utilizează un cluster de brokeri partiționat pentru a obține scalabilitate orizontală și utilizează backpressure adaptiv pentru a regla fluxul de comenzi primite și a preveni supraîncărcarea sistemului. Platforma acoperă o suprafață largă de capabilități operaționale, inclusiv monitorizarea execuției în timp real cu hărți termice de performanță, luarea deciziilor de business automate prin tabele de decizie și execuția distribuită a sarcinilor printr-un model de job worker bazat pe polling. Oferă, de asemenea, instrumente pentru izolarea resurselor multi-tenant, controlul accesului bazat pe identitate și integrarea API-urilor web externe și a funcțiilor serverless. Sistemul poate fi implementat în diverse medii, inclusiv Kubernetes și Docker, și este gestionat printr-o combinație de interfață în linie de comandă și API REST programatic.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

Maestro is a distributed job scheduler and containerized data pipeline tool designed to coordinate complex sequences of tasks. It functions as a Kubernetes workflow orchestrator and MLOps automation platform, utilizing directed acyclic graphs to manage task dependencies and execution order across computing clusters. The system distinguishes itself through the use of isolated container environments for each workflow step, ensuring consistent runtime dependencies. It incorporates an asynchronous event bus to coordinate state transitions and provides lifecycle hook integration that dispatches sy