Awesome GitHub RepositoriesDeclarative Pipeline Construction

Pathway is a high-performance data processing framework designed for building unified batch and streaming pipelines. It functions as an orchestrator for complex data transformations, utilizing a differential dataflow engine to process updates incrementally. By treating static datasets and continuous event streams with identical logic, the platform ensures exactly-once processing semantics and consistent results across diverse data sources. The framework distinguishes itself through its specialized support for real-time artificial intelligence and retrieval-augmented generation. It features in

FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f

This tool is a command-line processor designed for querying, updating, and transforming structured data files. It functions as a versatile engine for manipulating YAML, JSON, TOML, and XML documents, allowing users to perform complex operations directly from the terminal. By utilizing a path-based expression language, it enables precise navigation and modification of data structures within configuration files and infrastructure-as-code workflows. What distinguishes this tool is its ability to perform in-place document mutations while preserving original formatting, comments, and metadata. It

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Benthos is a stream processing engine and data integration pipeline used for routing, transforming, and connecting data streams between diverse sources and sinks. It functions as event routing middleware and a change data capture tool, streaming real-time database modifications as discrete events for downstream processing. The system utilizes a declarative pipeline configuration, where data flow and processing logic are defined in a single static file. It features a specialized domain-specific language for mapping, filtering, and enriching data payloads, allowing for complex transformations w

node-fluent-ffmpeg FFmpeg के लिए एक Node.js रैपर है जो मीडिया कमांड्स को निष्पादित करने और फाइलों को प्रोसेस करने के लिए एक फ्लुएंट इंटरफ़ेस प्रदान करता है। यह एक प्रोसेस मैनेजर के रूप में कार्य करता है जो बाहरी FFmpeg बाइनरीज़ के लाइफसाइकिल को संभालता है, जो प्रोग्रामेटिक मीडिया ट्रांसकोडिंग, वीडियो थंबनेल जनरेशन और ffprobe के माध्यम से मेटाडेटा एक्सट्रैक्शन को सक्षम बनाता है। यह लाइब्रेरी एक कमांड बिल्डर के माध्यम से खुद को अलग करती है जो JavaScript मेथड कॉल्स को कमांड-लाइन आर्गुमेंट्स में अनुवादित करती है। इसमें प्रोसेस किए गए फ्रेम्स और थ्रूपुट को ट्रैक करने के लिए इवेंट-संचालित प्रोग्रेस मॉनिटरिंग, साथ ही रीयल-टाइम हैंडलिंग के लिए प्रोसेस किए गए मीडिया डेटा को सीधे राइटेबल स्ट्रीम्स में रूट करने की क्षमता शामिल है। यह प्रोजेक्ट ऑडियो और वीडियो प्रॉपर्टीज़ के लिए एन्कोडिंग कॉन्फ़िगरेशन, विज़ुअल और ऑडियो इफेक्ट्स के लिए जटिल फिल्टरग्राफ परिभाषाओं, और कई स्रोतों को संयोजित करने के लिए इनपुट मैनेजमेंट सहित व्यापक मीडिया प्रोसेसिंग क्षमताओं को कवर करता है। इसमें तकनीकी मेटाडेटा प्राप्त करने के लिए मीडिया कंटेनर्स और स्ट्रीम्स को जांचने के लिए टूल्स भी शामिल हैं।

यह रिपॉजिटरी एक व्यापक शैक्षिक कार्यक्रम और डीप लर्निंग फ्रेमवर्क है, जिसे नोटबुक और कोड उदाहरणों के माध्यम से PyTorch का उपयोग करके व्यावहारिक डीप लर्निंग सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और डिप्लॉय करने के लिए एक हाई-लेवल लाइब्रेरी के रूप में कार्य करता है। यह प्रोजेक्ट कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और टैबुलर डेटा प्रीप्रोसेसिंग के लिए विशेष टूलकिट प्रदान करता है। यह डिस्क्रिमिनेटिव लर्निंग रेट्स, ट्रेनिंग लॉजिक को कस्टमाइज़ करने के लिए टू-वे कॉलबैक सिस्टम और हाई-लेवल लर्नर एब्स्ट्रैक्शन जैसे उन्नत ट्रेनिंग कंट्रोल्स के माध्यम से खुद को अलग करता है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में उपलब्ध है।

docetl is an AI-powered document ETL tool and map-reduce orchestrator designed to transform large collections of unstructured documents into structured, queryable tables using language models. It provides a declarative pipeline framework for extracting, cleaning, and transforming data from sources such as PDFs and text files into predefined schemas. The project distinguishes itself through a semantic data integration suite that enables joining datasets and resolving duplicate entities based on embedding-based similarity. It includes an interactive prompt playground for developing and optimizi

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

Dag-factory is a framework for constructing and managing Apache Airflow data pipelines through declarative configuration files. By replacing manual procedural code with structured YAML definitions, it enables the programmatic generation of complex workflow structures, task dependencies, and execution schedules. The project distinguishes itself by mapping configuration keys directly to Python class constructors and operators, allowing for the dynamic instantiation of objects and custom logic. It supports hierarchical configuration inheritance to standardize settings across environments and pro