Awesome GitHub RepositoriesData Processing Pipelines

This project is an algorithmic trading platform designed to automate financial market analysis and the execution of investment strategies. It provides an end-to-end environment for processing real-time market data through automated decision models, allowing for the triggering of financial transactions based on predefined quantitative signals and risk parameters without manual intervention. The platform distinguishes itself through a modular pipeline architecture that decouples data ingestion, signal generation, and trade execution, facilitating the iterative refinement of investment models. I

Nushell is a cross-platform shell and programming language designed to treat all input and output as structured data rather than raw text streams. By enforcing data types and command signatures, it provides a consistent environment for building robust, pipeline-oriented workflows. The shell allows users to chain commands that pass structured objects between stages, enabling complex data processing and automation tasks that remain predictable across different operating systems. What distinguishes the project is its focus on interactive data exploration and modular extensibility. Users can quer

MediaPipe is a cross-platform machine learning framework designed for deploying vision, audio, and text processing models across mobile, desktop, and web environments. It functions as an on-device inference engine that executes complex models locally on edge hardware, ensuring low latency and privacy without requiring a constant internet connection. The framework utilizes a graph-based pipeline orchestration system where data flows through a directed network of modular calculators to ensure synchronized and deterministic processing. It distinguishes itself through a unified runtime that provi

Web-check is a self-hosted diagnostic platform designed to perform comprehensive technical reconnaissance and security audits on web domains. It functions as a network scanner that inspects infrastructure by querying IP addresses, DNS records, SSL certificate chains, and server headers to identify potential misconfigurations or vulnerabilities. The platform is built to run within private infrastructure, ensuring that site investigations remain independent of external tracking or third-party data logging. By utilizing server-side request proxying, the tool bypasses client-side security restric

ArchiveBox is a self-hosted archiving tool designed for personal digital preservation and research data management. It functions as an automated web preservation engine that monitors URL inputs from bookmarks, browser history, or manual entries to capture and store permanent, offline copies of web content. By utilizing headless browser automation, the system renders dynamic web pages to ensure that captured snapshots, PDFs, and media assets remain accurate and accessible even if the original source disappears. The project distinguishes itself through a modular extractor pipeline and a task-qu

SkyWalking is a comprehensive observability stack and application performance monitoring platform. It functions as a distributed tracing system and an AI application monitor, providing a centralized suite for collecting and analyzing logs, metrics, and traces to maintain the health of containerized architectures. The platform distinguishes itself through a service topology visualizer that renders interactive maps of infrastructure dependencies and communication patterns. It also includes specialized capabilities for generative AI workflow observation to track the execution flow and performanc

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

Telegraf is a modular, cross-platform telemetry pipeline designed to collect, process, and route metrics from diverse infrastructure, applications, and hardware. It functions as a server-side middleware that normalizes heterogeneous data into a unified format, enabling consistent monitoring across complex environments. By utilizing a plugin-driven architecture, the agent manages the entire lifecycle of telemetry data from initial ingestion to final transmission. The project distinguishes itself through a declarative, configuration-driven execution model that allows users to define complex dat

This application is a cross-platform desktop utility designed for automated translation, optical character recognition, and speech synthesis. It functions as a modular client that integrates various local and remote language services, allowing users to process text through hotkeys, clipboard monitoring, or direct input. The software distinguishes itself through a plugin-based architecture and a built-in automation framework. By exposing a local network interface, it enables external applications and scripts to programmatically trigger its translation and recognition workflows. Users can furth

Newspaper is a Python library designed for scraping, parsing, and analyzing web-based information. It functions as a framework for automated news aggregation and large-scale web content extraction, providing tools to download, clean, and structure text, metadata, and media from diverse online sources. The project distinguishes itself through a pipeline-oriented architecture that combines heuristic-based content extraction with natural language processing. It automatically identifies and isolates article bodies from web page boilerplate while simultaneously performing language detection, keywo

OpenProject هي منصة مفتوحة المصدر لإدارة العمل ومحفظة المشاريع مصممة لتتبع المهام، وإدارة دورات حياة المشاريع، والإشراف على الأهداف الاستراتيجية. توفر بيئة مركزية لتنظيم سير عمل الفريق من خلال لوحات agile، ومخططات Gantt، وخرائط الطريق، مع دعم تسلسلات هرمية معقدة للمشاريع وتخطيط سعة الموارد عبر المؤسسات الكبيرة. تتميز المنصة بدعم متخصص لنمذجة معلومات البناء، مما يسمح للفرق باستيراد وتصور وتنسيق النماذج ثلاثية الأبعاد ومشكلات البناء مباشرة داخل متصفح الويب. كما تميز قدراتها من خلال دمج محركات سير العمل ذات الحالة الآلية ونمذجة حزم العمل العلائقية، والتي تتيح تتبعاً مخصصاً للغاية وقائماً على المخطط لعناصر المشروع والتبعيات وانتقالات الحالة. يغطي النظام سطح قدرات واسع بما في ذلك إدارة الهوية على مستوى المؤسسة، والتقارير الآلية، ومراقبة الأداء المالي. يوفر خيارات تكوين واسعة لأنواع العمل المخصصة، وأدوار حوكمة المشروع، ومنهجيات agile الموسعة، إلى جانب واجهات برمجية لأتمتة الأنظمة الخارجية واتصال مساعد الذكاء الاصطناعي. تم تصميم البرمجيات للنشر المستضاف ذاتياً، وتوفر إجراءات شاملة للتثبيت والصيانة وترحيل البيانات من أنظمة الطرف الثالث.

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Apache Hudi is an open-source table format that brings ACID transactions, incremental processing, and multi-modal indexing to data lakes. It provides atomic commits with snapshot isolation, rollback, and optimistic concurrency control for reliable data lake operations, while supporting upserts, record-level updates, and deletions in large analytical datasets. The project distinguishes itself through a timeline-based architecture that coordinates all write operations, enabling features like time-travel querying, incremental change streaming, and multi-modal query views that include snapshot, i

هذا المشروع عبارة عن مورد تعليمي شامل وسلسلة دروس لتعلم برمجة Bash و shell. يعمل كدليل تقني ومرجع لكتابة نصوص الأتمتة وإنشاء أدوات قابلة لإعادة الاستخدام داخل بيئة Linux. يركز المحتوى على أتمتة DevOps و SysOps، ويغطي تطوير أدوات سطر أوامر مخصصة، وأتمتة إدارة النظام، وتنفيذ أتمتة الأمان مثل توليد كلمات المرور العشوائية والحماية من هجمات DDoS. يشمل النطاق أساسيات اللغة بما في ذلك المتغيرات، والحلقات، والمنطق الشرطي، بالإضافة إلى الإمكانات التشغيلية مثل مراقبة صحة النظام، وتلخيص سجلات خادم الويب، وإدارة الخادم عن بُعد عبر SSH. كما يتناول التفاعل مع الطرفية من خلال بناء القوائم التفاعلية، وتنسيق المخرجات، واختصارات الأوامر. تم تنظيم المحتوى كسلسلة من الأدلة، وكتاب إلكتروني، ومرجع للبرمجة.

Jitsu is an open-source customer data platform designed to orchestrate event data pipelines. It captures, transforms, and routes behavioral data from web and server sources into data warehouses and analytics tools, providing a unified infrastructure for managing event streams. The platform distinguishes itself through its focus on self-hosted, containerized operations that grant users full control over their data security and privacy. It features a robust identity resolution engine that stitches disparate user identifiers into persistent profiles across sessions and devices, alongside program

Grid.js هي مكتبة JavaScript مستقلة عن إطار العمل لتصيير شبكات البيانات التفاعلية. تسمح المكتبة بعرض المعلومات المهيكلة في تنسيقات جدولية عبر بيئات واجهة أمامية مختلفة، مع دعم ملء البيانات من مصفوفات ثابتة أو استيرادات JSON. تتميز المكتبة بنظام إضافات لتوسيع مكونات واجهة المستخدم والمنطق، بالإضافة إلى خط أنابيب بيانات مخصص لتحويل المعلومات قبل عرضها. تتضمن المكتبة دعماً مدمجاً للتعريب متعدد اللغات لترجمة عناصر الواجهة والرسائل. يغطي المشروع إمكانيات تصور البيانات الأساسية بما في ذلك الفرز والتصفية وتصور الشبكة الديناميكي. توفر المكتبة أدوات لإدارة إعدادات التكوين والتكامل مع بيئات JavaScript المختلفة.

هذا المشروع هو محرك توصية منتجات في الوقت الفعلي مبني على Apache Flink. يعمل كخط أنابيب تحليلات سلوكية متدفق يعالج السجلات الخام لاستخلاص اهتمامات المستخدم واتجاهات شعبية المنتجات. يستخدم النظام محرك تصفية تعاوني لحساب تشابه العناصر عبر تشابه جيب التمام وأنماط تفاعل المستخدم المشتركة. ويستخدم خط أنابيب إعادة ترتيب هجين يجمع بين قوائم الشعبية العالمية وملفات تعريف المستخدمين الشخصية لفرتب العناصر الموصى بها. تتضمن البنية متجراً للمستخدمين واسع الأعمدة باستخدام HBase لسجلات السلوك المستمرة وذاكرة تخزين مؤقت مدعومة بـ Redis لقوائم حرارة العناصر في الوقت الفعلي. يتضمن خط الأنابيب قدرات لاستخراج الاهتمامات السلوكية، وتحليل فترات التفاعل، ولوحة تحكم للأداء لمراقبة معدلات استيعاب السجلات.

DotnetSpider هو إطار عمل لزحف الويب في .NET وأداة لاستخراج البيانات بلغة C# مصممة لاكتشاف صفحات الويب تلقائياً واسترجاع البيانات المهيكلة من الإنترنت على نطاق واسع. يعمل كمكتبة عالية المستوى لكشط الويب لجمع المعلومات من مواقع ويب مختلفة. يوفر إطار العمل إمكانيات لزحف الويب الآلي وكشط البيانات على نطاق واسع. وهو يتيح استخراج محتوى الويب لتسهيل إنشاء قواعد بيانات محلية أو تحليل المعلومات عبر الإنترنت من خلال أتمتة الويب البرمجية داخل نظام .NET البيئي. يستخدم النظام نموذج معالجة بيانات قائماً على خطوط الأنابيب مع معالجة الطلبات غير المتزامنة وتنفيذ العمال المتزامن. ويتميز بجدول مهام قائم على الطوابير، ومزودي تخزين معياريين، وتنفيذ موجه نحو الواجهات لمنطق الكشط المخصص.