Awesome GitHub RepositoriesData Processing Pipelines

This project is an algorithmic trading platform designed to automate financial market analysis and the execution of investment strategies. It provides an end-to-end environment for processing real-time market data through automated decision models, allowing for the triggering of financial transactions based on predefined quantitative signals and risk parameters without manual intervention. The platform distinguishes itself through a modular pipeline architecture that decouples data ingestion, signal generation, and trade execution, facilitating the iterative refinement of investment models. I

Nushell is a cross-platform shell and programming language designed to treat all input and output as structured data rather than raw text streams. By enforcing data types and command signatures, it provides a consistent environment for building robust, pipeline-oriented workflows. The shell allows users to chain commands that pass structured objects between stages, enabling complex data processing and automation tasks that remain predictable across different operating systems. What distinguishes the project is its focus on interactive data exploration and modular extensibility. Users can quer

MediaPipe is a cross-platform machine learning framework designed for deploying vision, audio, and text processing models across mobile, desktop, and web environments. It functions as an on-device inference engine that executes complex models locally on edge hardware, ensuring low latency and privacy without requiring a constant internet connection. The framework utilizes a graph-based pipeline orchestration system where data flows through a directed network of modular calculators to ensure synchronized and deterministic processing. It distinguishes itself through a unified runtime that provi

Web-check is a self-hosted diagnostic platform designed to perform comprehensive technical reconnaissance and security audits on web domains. It functions as a network scanner that inspects infrastructure by querying IP addresses, DNS records, SSL certificate chains, and server headers to identify potential misconfigurations or vulnerabilities. The platform is built to run within private infrastructure, ensuring that site investigations remain independent of external tracking or third-party data logging. By utilizing server-side request proxying, the tool bypasses client-side security restric

ArchiveBox is a self-hosted archiving tool designed for personal digital preservation and research data management. It functions as an automated web preservation engine that monitors URL inputs from bookmarks, browser history, or manual entries to capture and store permanent, offline copies of web content. By utilizing headless browser automation, the system renders dynamic web pages to ensure that captured snapshots, PDFs, and media assets remain accurate and accessible even if the original source disappears. The project distinguishes itself through a modular extractor pipeline and a task-qu

SkyWalking is a comprehensive observability stack and application performance monitoring platform. It functions as a distributed tracing system and an AI application monitor, providing a centralized suite for collecting and analyzing logs, metrics, and traces to maintain the health of containerized architectures. The platform distinguishes itself through a service topology visualizer that renders interactive maps of infrastructure dependencies and communication patterns. It also includes specialized capabilities for generative AI workflow observation to track the execution flow and performanc

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

Telegraf is a modular, cross-platform telemetry pipeline designed to collect, process, and route metrics from diverse infrastructure, applications, and hardware. It functions as a server-side middleware that normalizes heterogeneous data into a unified format, enabling consistent monitoring across complex environments. By utilizing a plugin-driven architecture, the agent manages the entire lifecycle of telemetry data from initial ingestion to final transmission. The project distinguishes itself through a declarative, configuration-driven execution model that allows users to define complex dat

This application is a cross-platform desktop utility designed for automated translation, optical character recognition, and speech synthesis. It functions as a modular client that integrates various local and remote language services, allowing users to process text through hotkeys, clipboard monitoring, or direct input. The software distinguishes itself through a plugin-based architecture and a built-in automation framework. By exposing a local network interface, it enables external applications and scripts to programmatically trigger its translation and recognition workflows. Users can furth

Newspaper is a Python library designed for scraping, parsing, and analyzing web-based information. It functions as a framework for automated news aggregation and large-scale web content extraction, providing tools to download, clean, and structure text, metadata, and media from diverse online sources. The project distinguishes itself through a pipeline-oriented architecture that combines heuristic-based content extraction with natural language processing. It automatically identifies and isolates article bodies from web page boilerplate while simultaneously performing language detection, keywo

OpenProject es una plataforma de gestión de trabajo y cartera de proyectos de código abierto diseñada para realizar un seguimiento de tareas, gestionar ciclos de vida de proyectos y supervisar objetivos estratégicos. Proporciona un entorno centralizado para organizar flujos de trabajo de equipo a través de tableros ágiles, diagramas de Gantt y hojas de ruta, mientras admite jerarquías de proyectos complejas y planificación de capacidad de recursos en grandes organizaciones. La plataforma se distingue por un soporte especializado para el modelado de información de construcción (BIM), permitiendo a los equipos importar, visualizar y coordinar modelos 3D y problemas de construcción directamente dentro de un navegador web. Además, diferencia sus capacidades integrando motores de flujo de trabajo de máquinas de estado y modelado relacional de paquetes de trabajo, que permiten un seguimiento altamente personalizado y basado en esquemas de elementos de proyecto, dependencias y transiciones de estado. El sistema cubre una amplia superficie de capacidades, incluyendo gestión de identidad de nivel empresarial, informes automatizados y monitorización del rendimiento financiero. Ofrece amplias opciones de configuración para tipos de trabajo personalizados, roles de gobernanza de proyectos y metodologías ágiles escaladas, junto con interfaces programáticas para la automatización de sistemas externos y conectividad con asistentes de IA. El software está diseñado para el despliegue autohospedado, proporcionando procedimientos integrales para la instalación, mantenimiento y migración de datos desde sistemas de terceros.

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Apache Hudi is an open-source table format that brings ACID transactions, incremental processing, and multi-modal indexing to data lakes. It provides atomic commits with snapshot isolation, rollback, and optimistic concurrency control for reliable data lake operations, while supporting upserts, record-level updates, and deletions in large analytical datasets. The project distinguishes itself through a timeline-based architecture that coordinates all write operations, enabling features like time-travel querying, incremental change streaming, and multi-modal query views that include snapshot, i

Este proyecto es un recurso educativo integral y una serie de tutoriales para aprender scripting en Bash y programación shell. Sirve como guía técnica y manual de referencia para escribir scripts de automatización y crear herramientas reutilizables dentro de un entorno Linux. El material se centra en la automatización de DevOps y SysOps, cubriendo el desarrollo de herramientas de línea de comandos personalizadas, automatización de administración de sistemas y la implementación de automatización de seguridad, como la generación de contraseñas aleatorias y protección contra DDoS. El alcance abarca los fundamentos del lenguaje, incluyendo variables, bucles y lógica condicional, así como capacidades operativas como monitoreo de salud del sistema, resumen de logs de servidores web y gestión remota de servidores vía SSH. También aborda la interacción con la terminal mediante la construcción de menús interactivos, formato de salida y alias de comandos. El contenido está estructurado como una serie de guías, un ebook y una referencia de scripting.

Jitsu es una plataforma de datos de clientes diseñada para recopilar, transformar y enrutar eventos de aplicaciones a almacenes de datos y herramientas de marketing. Funciona como un motor de ingesta de eventos y enrutador de almacenes de datos, capturando datos de comportamiento a través de API y SDK para su procesamiento y almacenamiento en tiempo real. La plataforma cuenta con un pipeline de datos programable en JavaScript que permite el filtrado, enriquecimiento y remodelación de los datos de eventos durante el tránsito. Incluye un sistema de unión de identidades de clientes que fusiona identificadores de usuarios anónimos y conocidos para mantener perfiles de clientes persistentes dentro de un almacén. El sistema cubre una amplia gama de capacidades, incluyendo la recopilación de eventos de múltiples fuentes desde entornos web y móviles, la evolución automática de esquemas para almacenes de destino y el enrutamiento a múltiples destinos hacia plataformas SaaS y bases de datos SQL. Proporciona un conjunto de herramientas para desarrolladores para probar la lógica de transformación y admite el despliegue a través de Kubernetes o entornos Docker autohospedados.

Grid.js es una biblioteca de JavaScript agnóstica al framework para renderizar cuadrículas de datos interactivas. Permite la visualización de información estructurada en formatos tabulares en diferentes entornos frontend, admitiendo la población de datos desde arrays estáticos o importaciones JSON. La biblioteca cuenta con un sistema de plugins para extender los componentes de la interfaz de usuario y la lógica, así como un pipeline de datos personalizado para transformar la información antes de que se muestre. Incluye soporte integrado para la localización multilingüe para traducir elementos de la interfaz y mensajes. El proyecto cubre capacidades básicas de visualización de datos, incluyendo ordenamiento, filtrado y visualización dinámica de cuadrículas. Proporciona herramientas para gestionar la configuración y la integración con varios entornos de JavaScript.

Este proyecto es un motor de recomendación de productos en tiempo real construido sobre Apache Flink. Funciona como un pipeline de análisis de comportamiento en streaming que procesa registros sin procesar para derivar los intereses de los usuarios y las tendencias de popularidad de los productos. El sistema utiliza un motor de filtrado colaborativo para calcular la similitud de elementos mediante la similitud de coseno y patrones de interacción de usuario compartidos. Emplea un pipeline de re-ranking híbrido que combina listas de popularidad global con perfiles de usuario personalizados para ordenar los elementos recomendados. La arquitectura incorpora un almacén de usuarios de columna ancha utilizando HBase para registros de comportamiento persistentes y una caché respaldada por Redis para listas de calor de elementos en tiempo real. El pipeline incluye capacidades para la extracción de intereses conductuales, análisis de intervalos de interacción y un panel de rendimiento para monitorear las tasas de ingesta de registros.

DotnetSpider es un framework de rastreo web para .NET y una herramienta de extracción de datos en C# diseñada para el descubrimiento automatizado de páginas web y la recuperación de datos estructurados de Internet a gran escala. Funciona como una librería de web scraping de alto nivel para recopilar información de varios sitios web. El framework proporciona capacidades para el rastreo web automatizado y el scraping de datos a gran escala. Permite la extracción de contenido web para facilitar la creación de bases de datos locales o el análisis de información en línea mediante la automatización web programática dentro del ecosistema .NET. El sistema utiliza un modelo de procesamiento de datos basado en tuberías con manejo de solicitudes asíncronas y ejecución de trabajadores concurrentes. Cuenta con un programador basado en colas de tareas, proveedores de almacenamiento modulares y una implementación orientada a interfaces para lógica de scraping personalizada.