Awesome GitHub RepositoriesData Processing Configurations

CrewAI is a multi-agent orchestration framework designed for building autonomous systems that execute complex, multi-step workflows. It provides a development platform where specialized agents are defined with specific roles, goals, and tool sets to perform tasks collaboratively. By leveraging a declarative workflow engine, the system manages task dependencies, state transitions, and execution logic, allowing for the creation of structured, stateful sequences of operations. The framework distinguishes itself through its hierarchical management capabilities, which utilize manager agents to coo

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

This project is a Python-based framework that functions as a generative AI agent for programmatic data analysis. It enables users to interact with structured data sources through natural language prompts, translating these requests into executable code to perform analysis, data cleaning, and visualization. By maintaining conversational context across multi-turn interactions, the system allows for iterative exploration and the building of complex data narratives. The framework distinguishes itself through a robust semantic layer and secure execution model. It maps raw datasets to descriptive m

This project is a collection of educational resources and reference implementations for the Apache Flink stream processing framework. It provides a learning resource focused on mastering distributed stream processing through implementation guides, performance tuning tutorials, and practical examples. The repository features detailed walkthroughs for building real-time data pipelines using the DataStream and Table APIs. It includes specific integration examples for connecting Apache Flink with Kafka brokers and Elasticsearch indices, as well as reference implementations for real-time deduplica

Logstash is a JVM-based event processor and extract, transform, load system designed for log data processing pipelines. It functions as a plugin-based data ingestor that collects, transforms, and delivers logs and event data from multiple sources to various destinations. The system utilizes a modular architecture of interchangeable input, filter, and output components to handle real-time data ingestion and enterprise log aggregation. Users can extend the pipeline's functionality by developing custom plugins to support unique data sources or specific transformation logic. The platform covers

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Rete is a framework for building interactive, node-based visual interfaces and dataflow programming environments. It provides a core engine that processes directed graphs, allowing developers to define modular logic where nodes represent operations and connections represent the flow of data or control. By decoupling the graph logic from the user interface, the framework enables the creation of custom visual editors that can be integrated into various frontend component libraries. The project distinguishes itself through a highly extensible, signal-driven architecture that supports complex req

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Mage AI एक Python-आधारित डेटा पाइपलाइन ऑर्केस्ट्रेटर और सेल्फ-होस्टेड डेटा इंटीग्रेटेड डेवलपमेंट एनवायरनमेंट (IDE) है। इसे ब्लॉक-आधारित पाइपलाइन डिज़ाइन और इंटरैक्टिव नोटबुक इंटरफ़ेस का उपयोग करके डेटा वर्कफ़्लो बनाने, शेड्यूल करने और मॉनिटर करने के लिए डिज़ाइन किया गया है। यह प्लेटफ़ॉर्म जेनेरेटिव AI क्षमताओं को एकीकृत करके खुद को अलग बनाता है, जिससे उपयोगकर्ताओं को स्वचालित डेटा स्ट्रीम में आर्टिफिशियल इंटेलिजेंस को शामिल करने के लिए API के माध्यम से लार्ज लैंग्वेज मॉडल प्रोवाइडर्स से जुड़ने की अनुमति मिलती है। यह एक Apache Spark डेटा प्रोसेसर के रूप में भी कार्य करता है, जो उच्च-वॉल्यूम एनालिटिक्स और बड़े पैमाने पर डेटा प्रोसेसिंग के लिए आवश्यक कर्नल्स और इंफ्रास्ट्रक्चर को प्रबंधित करता है। यह सिस्टम ETL वर्कफ़्लो ऑटोमेशन, dbt मॉडल मैनेजमेंट, और डेटा स्ट्रीम डिस्कवरी सहित डेटा इंजीनियरिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह Git के माध्यम से वर्ज़न कंट्रोल इंटीग्रेशन, कंटेनराइज़्ड डिप्लॉयमेंट, और डेवलपमेंट व प्रोडक्शन वातावरण में पाइपलाइन्स को प्रबंधित करने के लिए रोल-आधारित एक्सेस कंट्रोल के लिए टूल्स प्रदान करता है। मॉनिटरिंग को सिस्टम परफॉर्मेंस टेलीमेट्री और पाइपलाइन निष्पादन डिबगिंग के माध्यम से संभाला जाता है।

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

dlt एक Python डेटा इंजेक्शन टूल और ETL पाइपलाइन फ्रेमवर्क है जिसे विविध स्रोतों से डेटा लाने और इसे संरचित गंतव्यों में बनाए रखने के लिए डिज़ाइन किया गया है। यह एक स्कीमा इंफरेंस इंजन के रूप में कार्य करता है जो स्वचालित रूप से डेटा प्रकारों का पता लगाता है और नेस्टेड JSON संरचनाओं को रिलेशनल टेबल में समतल (flatten) करता है, डेटा को स्रोतों से लेकहाउस, वेयरहाउस या वेक्टर डेटाबेस में ले जाता है। यह प्रोजेक्ट AI-संचालित पाइपलाइन निर्माण के माध्यम से खुद को अलग करता है, जो REST API के लिए एक्सट्रैक्शन कोड और कनेक्टर को स्कैफ़ोल्ड करने के लिए लार्ज लैंग्वेज मॉडल का उपयोग करता है। यह AI और मशीन लर्निंग एप्लिकेशन का समर्थन करने के लिए मल्टीमॉडल वेक्टर स्टोरेज और वेक्टर डेटाबेस की विशेष आबादी का भी समर्थन करता है। यह फ्रेमवर्क स्वचालित स्कीमा इवोल्यूशन, स्टेट ट्रैकिंग के माध्यम से इंक्रीमेंटल डेटा लोडिंग, और डेटा कॉन्ट्रैक्ट्स के प्रवर्तन के माध्यम से डेटा गुणवत्ता वैलिडेशन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह रिलेशनल डेटा नॉर्मलाइज़ेशन, प्री- और पोस्ट-लोड ट्रांसफ़ॉर्मेशन, और SQL डेटाबेस व क्लाउड ऑब्जेक्ट स्टोर के लिए विभिन्न डेस्टिनेशन एडेप्टर के लिए उपकरण प्रदान करता है। ऑब्जर्वेबिलिटी को पाइपलाइन निष्पादन डैशबोर्ड, कॉलम लाइनएज ट्रैकिंग और कंटेंट-आधारित हैश का उपयोग करके स्कीमा वर्ज़न वेरिफिकेशन के माध्यम से संभाला जाता है।

Fluvio एक वितरित इवेंट स्ट्रीमिंग प्लेटफ़ॉर्म और क्लाउड-नेटिव स्ट्रीमिंग इंजन है जिसे वितरित क्लस्टर में रीयल-टाइम डेटा स्ट्रीम को एकत्र करने, बनाए रखने और दोहराने के लिए डिज़ाइन किया गया है। यह बाहरी स्रोतों और सिंक के बीच डेटा को इनजेस्ट, समृद्ध और निर्यात करने वाले स्टेटफ़ुल वर्कफ़्लो बनाने के लिए रीयल-टाइम डेटा पाइपलाइन के रूप में कार्य करता है। यह प्लेटफ़ॉर्म इन-लाइन डेटा परिवर्तनों और फ़िल्टरिंग के लिए संकलित मॉड्यूल को निष्पादित करने के लिए WebAssembly के उपयोग से प्रतिष्ठित है। यह क्लस्टर को पुनरारंभ करने की आवश्यकता के बिना जानकारी को फिर से आकार देने के लिए कस्टम व्यावसायिक तर्क के निष्पादन की अनुमति देता है। सिस्टम बाहरी प्रोटोकॉल से कनेक्टर-आधारित डेटा इंजेक्शन, ज़ीरो-कॉपी IO के साथ लॉग-स्ट्रक्चर्ड अपरिवर्तनीय भंडारण और क्षैतिज क्लस्टर स्केलिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह जटिल इवेंट-संचालित पाइपलाइनों के निर्माण का समर्थन करता है जो स्टेटफ़ुल प्रोसेसिंग, विंडो-आधारित एकत्रीकरण और विभाजन-आधारित डेटा वितरण का उपयोग करते हैं। इंजन को एज डेटा प्रोसेसिंग के लिए ARM64 IoT उपकरणों सहित विविध सिस्टम आर्किटेक्चर पर एक हल्के बाइनरी के रूप में तैनात किया जा सकता है।

Jitsu is an open-source customer data platform designed to orchestrate event data pipelines. It captures, transforms, and routes behavioral data from web and server sources into data warehouses and analytics tools, providing a unified infrastructure for managing event streams. The platform distinguishes itself through its focus on self-hosted, containerized operations that grant users full control over their data security and privacy. It features a robust identity resolution engine that stitches disparate user identifiers into persistent profiles across sessions and devices, alongside program

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

DevLake is a DevOps data platform and analytics tool designed to orchestrate data pipelines that ingest, transform, and sync metadata from external development tools into a unified database. It functions as a system for collecting and normalizing data from source control, CI/CD pipelines, and issue trackers into a standardized schema to enable consistent software delivery analytics. The platform distinguishes itself by transforming tool-specific data into a common domain model, allowing for the calculation of engineering metrics via SQL. It provides specialized frameworks for measuring DORA m

Connector-X is a high-performance SQL data extraction library and bridge for transferring relational database records into memory-efficient data structures. It functions as a parallel database connector and federated query engine capable of executing and joining queries across multiple remote database connections to aggregate data locally. The project distinguishes itself through a zero-copy approach to data loading, which transfers SQL query results into memory structures without duplicating data. It maximizes throughput by partitioning SQL queries into threads, employing parallel columnar a