Awesome GitHub RepositoriesEvent-Driven Data Pipelines

Firecrawl is a web data extraction platform designed to convert unstructured web content into clean, LLM-ready formats like markdown or JSON. It functions as an autonomous web crawler and scraper, capable of mapping entire domains, performing recursive navigation, and executing complex data gathering tasks. By leveraging headless browser orchestration, the system handles dynamic, JavaScript-heavy pages to ensure comprehensive data capture. The platform distinguishes itself through its focus on agentic workflows, providing a programmatic interface that allows autonomous agents to perform live

Syncthing es un motor de sincronización de archivos descentralizado que mantiene estados de datos consistentes en múltiples dispositivos a través de redes mesh peer-to-peer. Funciona como un demonio en segundo plano que replica automáticamente las creaciones, modificaciones y eliminaciones de archivos entre nodos de confianza sin necesidad de servidores centrales. Al utilizar indexación de bloques direccionable por contenido y sincronización delta a nivel de bloque, el sistema identifica y transfiere solo los segmentos modificados de los archivos, asegurando una propagación de datos eficiente en entornos heterogéneos. El proyecto se distingue por una arquitectura centrada en la seguridad que se basa en la autenticación TLS mutua para verificar la identidad del dispositivo, asegurando que todas las conexiones estén vinculadas criptográficamente a huellas digitales de certificados de confianza. Admite modos de sincronización flexibles, incluyendo replicación bidireccional, duplicación unidireccional para copias de seguridad y cumplimiento basado en referencias. Para mayor privacidad, el sistema proporciona cifrado a nivel de carpeta para dispositivos no confiables y permite un control granular del tráfico de red, incluida la capacidad de restringir operaciones a redes locales o utilizar infraestructura de retransmisión para el cruce de NAT. Más allá de sus capacidades principales de replicación, la plataforma ofrece herramientas de gestión integrales, incluido un panel basado en web para monitorear el estado de la conexión y el rendimiento, así como una interfaz de línea de comandos para una configuración avanzada. Incluye estrategias de versionado robustas para proteger contra la pérdida de datos y admite escenarios de despliegue complejos a través de la integración de servicios nativos y métricas de observabilidad. El software está diseñado para la compatibilidad multiplataforma y puede instalarse a través de gestores de paquetes estándar o entornos contenedorizados.

This project is a data processing engine and AI application platform designed for building production-grade machine learning workflows. It provides a unified programming model that handles both historical batch data and live stream ingestion, enabling the development of real-time ETL pipelines and scalable data transformation workflows. The framework distinguishes itself through differential dataflow execution, which propagates only changes through a pipeline rather than recomputing entire datasets. It supports distributed state management across worker nodes and utilizes incremental stream p

Hummingbot is an open-source framework designed for building, backtesting, and deploying autonomous trading agents and algorithmic strategies across centralized and decentralized cryptocurrency exchanges. It provides a modular environment where users can orchestrate containerized bots to execute complex market-making, grid trading, and arbitrage operations. The platform distinguishes itself through a skill-based architecture that integrates large language models, enabling users to monitor market conditions and control trading operations via natural language commands. It features a unified con

Cognee is an agentic memory management platform designed to provide autonomous agents with long-term semantic recall and structured knowledge. It functions as a framework for building persistent memory systems that connect large language models to graph-based knowledge and vector storage, enabling agents to maintain context across complex tasks and multiple sessions. The platform distinguishes itself through a hybrid approach that combines semantic similarity search with structural graph traversal, allowing for context-aware information retrieval. It features a modular architecture that orche

Twint is an open-source intelligence and data extraction framework designed to gather public social media information. It functions as a command-line utility that retrieves posts, user profiles, and follower lists directly from web interfaces, bypassing the need for official platform developer credentials or authentication keys. The tool distinguishes itself by enabling automated, large-scale data collection through terminal-based orchestration. It supports granular filtering by keywords, geographic locations, time ranges, and account status, allowing researchers to build targeted datasets fo

Apache Pulsar is a cloud-native message queue and distributed publish-subscribe messaging system. It serves as a multi-tenant event streaming platform designed to route data streams for asynchronous communication between producers and consumers. The system distinguishes itself through geo-replication, synchronizing data across multiple geographic regions to ensure high availability and low latency. It implements a multi-tenant architecture that provides isolation and resource management for millions of independent topics. The platform covers high-throughput data streaming and event-driven da

Dagster is a data orchestration platform designed to manage the entire lifecycle of data assets through declarative modeling and version-controlled code. It functions as a workflow engine that treats data assets as first-class primitives, allowing teams to define, schedule, and monitor complex pipelines while maintaining clear visibility into lineage, dependencies, and data quality. The platform distinguishes itself by using a code-as-configuration framework that enables standard software engineering practices, such as unit testing and local mocking, to be applied directly to data workflows.

Zigbee2mqtt is a service that functions as a bridge between Zigbee radio signals and the MQTT messaging protocol. It acts as a smart home hardware controller, enabling the management and communication of sensors, lights, and switches through local USB or network-based radio adapters. The project serves as a network manager for local mesh environments, handling the pairing of new hardware and the ongoing administration of device connections. It translates proprietary radio payloads into standardized data structures using a declarative schema, ensuring that device states are reconciled in real

This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad

This project is an open-source intelligence reconnaissance framework and recursive attack surface mapper. It functions as a containerized security scanner designed to map public-facing infrastructure, perform subdomain enumeration, and automate the gathering of open-source intelligence. The system employs a recursive discovery engine to iteratively explore target infrastructure, utilizing a plugin-based module architecture to extend scanning capabilities. It integrates third-party APIs for data enrichment and applies YARA rules across discovered assets to identify specific vulnerability patte

Pholcus is a distributed web crawling system designed for large-scale data scraping. It employs a master-worker distribution model to coordinate high-concurrency scraping tasks across a network of remote client nodes, enabling both horizontal and vertical data collection. The system features a hot-loadable rule engine that allows extraction and navigation logic to be updated at runtime without restarting the process. It handles dynamic content through headless browser integration and bypasses bot detection using proxy rotation, automated user authentication, and simulated human behavior. The

X-Ray es un framework de scraping web y crawler web asíncrono diseñado para extraer datos estructurados de sitios web. Funciona como un extractor de datos HTML que transforma el contenido de páginas sin formato en un esquema definido utilizando selectores de estilo CSS. El proyecto implementa un crawler de navegador headless capaz de ejecutar JavaScript para renderizar contenido dinámico. Maneja el descubrimiento de contenido de sitios web a través de una estrategia de rastreo en anchura y descubrimiento automático de paginación para recorrer conjuntos de resultados de múltiples páginas. El framework gestiona tuberías de datos web utilizando una cola de solicitudes con concurrencia limitada y control de tasa de solicitudes para regular las llamadas de red salientes. Los resultados extraídos se manejan mediante persistencia de datos basada en flujos para procesar grandes conjuntos de datos sin sobrecargar la memoria del sistema.

Mercure es un broker de mensajes basado en HTTP y servidor pub/sub en tiempo real que enruta actualizaciones de datos asíncronas a suscriptores autorizados. Funciona como un hub centralizado que recibe datos mediante solicitudes HTTP estándar y los transmite a clientes web utilizando el protocolo Server-Sent Events (SSE). El proyecto destaca por reemplazar WebSockets con una conexión HTTP unidireccional, aprovechando HTTP/2 y HTTP/3 para una entrega multiplexada de baja latencia. Implementa una capa de control de acceso seguro utilizando JSON Web Tokens (JWT) y JSON Web Signatures (JWS) para validar la identidad de editores y suscriptores, y soporta cifrado de payload de extremo a extremo mediante JSON Web Encryption (JWE). El sistema cubre clustering de alta disponibilidad y escalado horizontal para arquitecturas basadas en eventos, incluyendo recuperación del historial de eventos para reconciliar actualizaciones perdidas tras desconexiones del cliente. Su superficie operativa incluye monitoreo de rendimiento, seguimiento de presencia de clientes y limitación de solicitudes (throttling). El hub puede desplegarse como un binario autohospedado, dentro de entornos contenedorizados como Kubernetes o mediante un servicio de aprovisionamiento gestionado.

Fluvio es una plataforma de streaming de eventos distribuida y motor de streaming nativo de la nube, diseñado para recopilar, persistir y replicar flujos de datos en tiempo real a través de un clúster distribuido. Funciona como un pipeline de datos en tiempo real para construir flujos de trabajo con estado que ingieren, enriquecen y exportan datos entre fuentes y destinos externos. La plataforma se distingue por su uso de WebAssembly para ejecutar módulos compilados para transformaciones y filtrado de datos en línea. Esto permite la ejecución de lógica de negocio personalizada para remodelar la información en movimiento sin requerir un reinicio del clúster. El sistema cubre una amplia gama de capacidades, incluyendo ingesta de datos basada en conectores desde protocolos externos, almacenamiento inmutable estructurado en registros con E/S de copia cero y escalado horizontal del clúster. Admite la creación de pipelines complejos basados en eventos que utilizan procesamiento con estado, agregaciones en ventanas y distribución de datos basada en particiones. El motor puede desplegarse como un binario ligero en diversas arquitecturas de sistema, incluyendo dispositivos IoT ARM64 para procesamiento de datos en el borde (edge).

Rudder Server es una plataforma de datos de clientes y una tubería de enrutamiento de eventos diseñada para recopilar, transformar y enrutar datos de eventos de clientes desde diversas fuentes a almacenes de datos y herramientas de negocio. Funciona como un resolutor de identidad de clientes, vinculando identificadores de múltiples fuentes para construir un gráfico de identidad unificado y perfiles de clientes conductuales integrales. El sistema se diferencia por sus capacidades de ETL inverso, que envían segmentos y audiencias de clientes procesados desde almacenes de datos de vuelta a aplicaciones operativas de terceros. También proporciona un plano de datos contenedorizado para despliegues en Kubernetes, permitiendo la gestión de la infraestructura de datos como código. La plataforma cubre una amplia gama de capacidades de gestión de datos, incluyendo la transformación de eventos en tiempo real, la validación de esquemas mediante catálogos de datos y la gobernanza de la privacidad. Estas incluyen herramientas para gestionar el consentimiento del usuario, hacer cumplir la residencia de datos dentro de regiones geográficas específicas y enmascarar información de identificación personal durante el tránsito. La instalación y el despliegue de los componentes del plano de datos se gestionan utilizando gráficos de Helm.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network