Awesome GitHub RepositoriesParallel Data Transformation

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

Genesis World is an embodied AI simulation platform designed for training robotic agents through physics-based interactions. It centers on a multi-physics simulation engine that integrates rigid body, particle, and finite element method dynamics, supported by a parallel simulation kernel compiler that translates Python functions into optimized GPU and CPU kernels. The platform features a photorealistic robot renderer that utilizes path-tracing and Gaussian Splatting to generate synthetic training data. It includes a domain randomization framework to vary lighting and physical parameters acros

Vector is a high-performance observability data pipeline designed to collect, transform, and route logs, metrics, and traces across distributed infrastructure. It functions as a modular engine that decouples data ingestion from processing and transmission, utilizing a component-based architecture to connect diverse sources to multiple destinations. The project distinguishes itself through a focus on reliability and flow control. It implements backpressure-aware data movement to prevent data loss during traffic spikes and utilizes disk-backed event buffering to ensure durability during network

Datasets is a library designed for the management, processing, and sharing of large-scale data collections for machine learning workflows. It functions as both a data processing framework and a versioning platform, providing tools to organize, filter, and transform massive datasets while ensuring reproducibility across research and development teams. The library distinguishes itself by enabling the handling of datasets that exceed available system memory. It utilizes memory-mapped file access, disk-based caching, and lazy iterative streaming to maintain performance when working with large-sca

Codon is an LLVM-based Python compiler and statically typed implementation that translates source code into optimized machine instructions. It functions as a high-performance numerical backend and a GPU computing framework designed to remove runtime overhead. The project implements a compiled alternative to NumPy, translating array logic directly into machine code. It differentiates itself by generating specialized hardware kernels for graphics processors and utilizing static type inference to enable aggressive machine-code optimization. The system provides capabilities for parallel workload

Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.

Rayon is a data parallelism library for Rust that provides a framework for converting sequential computations into parallel operations. It enables the transformation of standard data structures and loops into parallel iterators, allowing workloads to be distributed across multiple processor cores. By utilizing a work-stealing scheduler, the library dynamically balances tasks to maximize throughput and minimize execution time. The library distinguishes itself through its focus on safe, scoped task synchronization, which ensures that all spawned operations complete before a scope exits to preve

dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d

Ragas is an evaluation framework designed to measure the performance of retrieval-augmented generation pipelines and autonomous agent workflows. It provides a comprehensive suite of tools for benchmarking system outputs, utilizing language models as automated judges to score performance against defined rubrics and reference data. By standardizing inputs, retrieved contexts, and generated responses into a unified schema, the project enables consistent analysis across complex AI applications. The framework distinguishes itself through its ability to generate synthetic test datasets from existin

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

conc is a Go concurrency library and structured concurrency framework providing primitives for managing parallel tasks, mapping slices, and collecting results. It implements a system for spawning scoped tasks to ensure all child processes complete before their parent exits. The library includes a goroutine pool manager to limit active concurrent processes and a panic-safe task runner that catches panics in goroutines and propagates stack traces to the parent. It also provides a concurrent map-reduce tool for transforming data slices and processing streams in parallel while maintaining the ori

PocketFlow is a graph-based framework for designing and executing large language model operations and reasoning patterns. It serves as an orchestrator for building goal-oriented autonomous agents, multi-agent systems, and retrieval-augmented generation pipelines. The system is distinguished by its ability to coordinate autonomous AI agents that use shared memory and tools to solve complex goals, supported by a structured output engine that enforces schema-consistent responses. It utilizes graph-based workflow orchestration to manage sequences of model operations and supports supervisor-based

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

oneAPI Threading Building Blocks (oneTBB)

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

ArrayFire هو إطار عمل حوسبة مستقل عن الأجهزة ومحرك مصفوفات مجمع فورياً (JIT) مصمم للحوسبة الرقمية عالية الأداء. يعمل كمكتبة حوسبة رقمية لوحدات معالجة الرسومات ومجموعة أدوات معالجة إشارات متوازية تجرد خلفيات الأجهزة، مما يسمح لنفس الكود بالتنفيذ عبر معماريات GPU و CPU مختلفة. يتميز المشروع بمحرك JIT يستخدم تجميع التعبيرات لدمج العمليات وتقليل عبء الذاكرة. يستخدم رسماً بيانياً للتنفيذ المؤجل لتحسين سلاسل الحسابات ويوفر أساسيات التشغيل البيني لمشاركة البيانات وسياقات التنفيذ مع منصات حوسبة خارجية مثل CUDA و OpenCL. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك الجبر الخطي المتوازي، ومعالجة الإشارات الرقمية، ورؤية الحاسوب المسرعة. توفر أدوات لتنفيذ التعلم الآلي، ومحاكاة النمذجة المالية، وحل المعادلات التفاضلية الجزئية لمحاكاة الأنظمة الفيزيائية. يتعامل نظام إدارة المصفوفات الخاص بها مع تخصيص المصفوفات متعددة الأبعاد، والتقطيع، ونقل البيانات بين المضيف والجهاز.

Async هي مكتبة Swift توفر مغلفاً لـ Grand Central Dispatch لتبسيط إدارة المهام والطوابير غير المتزامنة. تعمل كجدول مهام لتنفيذ وتوقيت وتنسيق كتل الكود. يتضمن المشروع مسلسلاً للمهام لتسلسل العمليات عبر خيوط مختلفة دون هياكل رد اتصال متداخلة (nested callback) ومغلف حلقة متزامن يوزع التكرارات عبر خيوط متعددة. كما يتميز بنظام إلغاء قائم على الرموز لتتبع وإزالة العمليات المعلقة من طابور التنفيذ قبل تشغيلها. تغطي المكتبة إدارة التزامن من خلال تنسيق المجموعات غير المتزامنة ومزامنة المهام المتعددة لتشغيل الإجراءات عند اكتمالها الجماعي.

ndarray هي مكتبة مصفوفات متعددة الأبعاد لـ Rust تعمل كإطار عمل للجبر الخطي وأداة للحوسبة العلمية. توفر البنية التحتية الأساسية لإنشاء ومعالجة المصفوفات n-الأبعاد، وتعمل كمعالج مصفوفات متوازي ومجموعة أدوات لتحليل البيانات الرقمية. تتميز المكتبة بتوفير تقطيع (slicing) وعروض ذاكرة فعالة، مما يسمح بمشاركة البيانات دون نسخ. تستفيد من مكتبات الرياضيات الخلفية المحسنة لضرب المصفوفات عالي السرعة وتوزع التكرارات الرياضية الثقيلة عبر خيوط CPU متعددة لتسريع المعالجة. يغطي المشروع مجموعة واسعة من العمليات الرياضية، بما في ذلك الحساب العنصري، وتجميع البيانات القائم على المحور، وحسابات الضرب النقطي. كما يتضمن أدوات شاملة لمعالجة المصفوفات مثل إعادة التشكيل، والتسطيح، والتكديس، وتوليد شبكة الإحداثيات، إلى جانب دعم توليد المصفوفات العشوائية والتسلسل.