Awesome GitHub RepositoriesData Flow Orchestrators

Appsmith is a low-code platform designed for building internal business tools, such as operational dashboards and administrative panels. It enables developers to construct dynamic user interfaces by dragging and dropping modular widgets onto a canvas and binding them directly to backend data sources. The platform utilizes a reactive framework that automatically updates interface elements and triggers functions whenever underlying data or widget properties change, eliminating the need for manual event handling. The platform distinguishes itself through a server-side proxy architecture that exe

Pipecat is a framework and software development kit for building real-time multimodal AI agents and speech-to-speech systems. It utilizes a frame-based data pipeline to route audio, video, and text through a modular sequence of processors, enabling the orchestration of low-latency conversational AI. The project is distinguished by its ability to coordinate complex multimodal services, including speech-to-text, language models, and text-to-speech, within a single pipeline. It features semantic voice activity detection for natural turn-taking, state-machine conversation flows for dialogue manag

This project is a reference implementation of the Model-View-ViewModel pattern using Android Jetpack components. It serves as an architecture template and layering guide, dividing application code into view, domain, and data layers to ensure a unidirectional flow of dependencies. The implementation focuses on state management and configuration change handling. It demonstrates how to synchronize UI updates across multiple screens using shared state containers and preserves application state during transitions between portrait and landscape orientations. The codebase covers a broad surface of

Apache Camel एक एंटरप्राइज़ इंटीग्रेशन फ्रेमवर्क और Java इंटीग्रेशन इंजन है जिसे अलग-अलग सिस्टम के बीच डेटा को रूट और मध्यस्थ करने के लिए डिज़ाइन किया गया है। यह एक मल्टी-रनटाइम मिडलवेयर के रूप में कार्य करता है जो यह प्रबंधित करने के लिए मानकीकृत एंटरप्राइज़ इंटीग्रेशन पैटर्न को लागू करता है कि संदेशों को कैसे रूट, ट्रांसफॉर्म और प्रोसेस किया जाता है। इस फ्रेमवर्क में समर्पित संचार प्रोटोकॉल का उपयोग करके बड़े भाषा मॉडल (LLMs) को एंटरप्राइज़ डेटा और आंतरिक सिस्टम से जोड़ने के लिए एक विशेष गेटवे शामिल है। यह विभिन्न संचार प्रोटोकॉल को जोड़ने और असंगत सॉफ्टवेयर एप्लिकेशन के बीच डेटा विनिमय को सक्षम करने के लिए पूर्व-निर्मित कनेक्टर्स की एक विशाल लाइब्रेरी का उपयोग करता है। यह सिस्टम मैसेज-ड्रिवन पाइपलाइन के माध्यम से डेटा फ्लो ऑर्केस्ट्रेशन का समर्थन करता है, जिससे उपयोगकर्ता Java, XML, YAML, या विज़ुअल वर्कफ़्लो डिज़ाइनर के माध्यम से रूटिंग लॉजिक को परिभाषित कर सकते हैं। इन इंटीग्रेशन प्रक्रियाओं को एक स्टैंडअलोन सेवा के रूप में तैनात किया जा सकता है या Spring Boot और Quarkus जैसे होस्ट फ्रेमवर्क के भीतर एम्बेड किया जा सकता है।

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Effector is a reactive state management library and data flow orchestrator designed for building complex, event-driven applications. It models application logic as a directed acyclic graph, where state updates and asynchronous side effects propagate automatically through declarative pipelines. By decoupling business logic from user interface layers, it allows developers to maintain state in independent containers that communicate via standard interfaces, ensuring the system remains framework-agnostic. The library distinguishes itself through its robust support for isolated execution scopes, w

Streem एक स्ट्रीम-आधारित प्रोग्रामिंग भाषा और डेटा पाइपलाइन ऑर्केस्ट्रेटर है। यह कॉनकरेंट डेटा फ़्लो को परिभाषित करने के लिए एक डोमेन-विशिष्ट भाषा प्रदान करता है, जो यूज़र्स को डेटा स्रोतों को गंतव्यों से ऑपरेशंस के एक अनुक्रम के माध्यम से जोड़ने की अनुमति देता है जो व्यक्तिगत स्ट्रीम तत्वों को बदलते और फ़िल्टर करते हैं। सिस्टम डेटा-फ़्लो कनेक्शन और पाइपलाइन परिभाषाओं को परिभाषित करने के लिए एक कस्टम स्क्रिप्ट सिंटैक्स का उपयोग करता है। यह कॉनकरेंट डेटा प्रोसेसिंग के ऑर्केस्ट्रेशन की अनुमति देता है जहाँ कई पाइपलाइन चरण सिस्टम के माध्यम से डेटा तत्वों को स्थानांतरित करने के लिए एक साथ निष्पादित होते हैं। प्लेटफ़ॉर्म कार्यात्मक डेटा ट्रांसफॉर्मेशन और चरण-आधारित कंपोजिशन को कवर करता है, जो लिंक्ड ऑपरेशंस की एक अनुक्रमिक श्रृंखला के माध्यम से गुजरते समय आइटम्स को संशोधित या फ़िल्टर करने के लिए विशिष्ट फंक्शन्स लागू करता है।

docetl is an AI-powered document ETL tool and map-reduce orchestrator designed to transform large collections of unstructured documents into structured, queryable tables using language models. It provides a declarative pipeline framework for extracting, cleaning, and transforming data from sources such as PDFs and text files into predefined schemas. The project distinguishes itself through a semantic data integration suite that enables joining datasets and resolving duplicate entities based on embedding-based similarity. It includes an interactive prompt playground for developing and optimizi