8 repository-uri
Abstractions that transform sequential data structures into parallel streams for multi-threaded processing.
Distinct from Parallel Data Transformation: Distinct from Parallel Data Transformation: focuses on the iterator-based interface for data partitioning rather than general transformation logic.
Explore 8 awesome GitHub repositories matching data & databases · Parallel Iterators. Refine with filters or upvote what's useful.
Genesis World is an embodied AI simulation platform designed for training robotic agents through physics-based interactions. It centers on a multi-physics simulation engine that integrates rigid body, particle, and finite element method dynamics, supported by a parallel simulation kernel compiler that translates Python functions into optimized GPU and CPU kernels. The platform features a photorealistic robot renderer that utilizes path-tracing and Gaussian Splatting to generate synthetic training data. It includes a domain randomization framework to vary lighting and physical parameters acros
Accelerates data-parallel computations by distributing top-level simulation loop iterations across hardware threads.
Codon is an LLVM-based Python compiler and statically typed implementation that translates source code into optimized machine instructions. It functions as a high-performance numerical backend and a GPU computing framework designed to remove runtime overhead. The project implements a compiled alternative to NumPy, translating array logic directly into machine code. It differentiates itself by generating specialized hardware kernels for graphics processors and utilizing static type inference to enable aggressive machine-code optimization. The system provides capabilities for parallel workload
Distributes loop iterations across physical hardware threads to maximize CPU throughput.
Rayon is a data parallelism library for Rust that provides a framework for converting sequential computations into parallel operations. It enables the transformation of standard data structures and loops into parallel iterators, allowing workloads to be distributed across multiple processor cores. By utilizing a work-stealing scheduler, the library dynamically balances tasks to maximize throughput and minimize execution time. The library distinguishes itself through its focus on safe, scoped task synchronization, which ensures that all spawned operations complete before a scope exits to preve
Transforms sequential data structures into parallel iterators to partition work across multiple processor cores.
oneAPI Threading Building Blocks (oneTBB)
Provides parallelfor and parallelreduce algorithms that split data ranges into chunks for concurrent processing.
Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp
Processes lists of items in parallel within workflow steps using a foreach executor.
ArrayFire este un framework de calcul hardware-agnostic și un motor de tensori compilat JIT, conceput pentru calcul numeric de înaltă performanță. Acesta servește ca bibliotecă de calcul numeric GPU și toolkit de procesare paralelă a semnalelor care abstractizează backend-urile hardware, permițând aceluiași cod să ruleze pe diverse arhitecturi GPU și CPU. Proiectul se distinge printr-un motor JIT care utilizează compilarea expresiilor pentru a fuziona operațiunile și a minimiza consumul de memorie. Acesta folosește un graf de execuție amânată pentru a optimiza lanțurile de calcul și oferă primitive de interoperabilitate pentru a partaja date și contexte de execuție cu platforme de calcul externe precum CUDA și OpenCL. Biblioteca acoperă o gamă largă de capabilități, inclusiv algebră liniară paralelă, procesarea digitală a semnalelor și viziune computerizată accelerată. Oferă instrumente pentru implementarea învățării automate, simularea modelării financiare și rezolvarea ecuațiilor diferențiale parțiale pentru simulări de sisteme fizice. Sistemul său de gestionare a tensorilor se ocupă de alocarea array-urilor multidimensionale, felierea (slicing) și transferurile de date gazdă-dispozitiv.
Distributes high-level loop iterations across physical hardware threads to maximize GPU and CPU throughput.
Async este o bibliotecă Swift care oferă un wrapper pentru Grand Central Dispatch pentru a simplifica gestionarea sarcinilor și cozilor asincrone. Funcționează ca un scheduler de sarcini pentru execuția, temporizarea și orchestrarea blocurilor de cod. Proiectul include un chainer de sarcini pentru a secvenția operațiunile pe diferite thread-uri fără structuri de callback imbricate și un wrapper de buclă concurentă care distribuie iterațiile pe mai multe thread-uri. De asemenea, dispune de un sistem de anulare bazat pe token-uri pentru a urmări și elimina operațiunile în așteptare din coada de execuție înainte ca acestea să ruleze. Biblioteca acoperă gestionarea concurenței prin coordonarea grupurilor asincrone și sincronizarea mai multor sarcini pentru a declanșa acțiuni la finalizarea colectivă.
Runs multiple blocks of code simultaneously by wrapping concurrent iteration functions to reduce total processing time.
ndarray is a multidimensional array library for Rust that serves as a linear algebra framework and scientific computing tool. It provides the core infrastructure for creating and manipulating n-dimensional arrays, functioning as both a parallel array processor and a toolkit for numerical data analysis. The library distinguishes itself by providing efficient slicing and memory views, allowing for data sharing without copying. It leverages optimized backend math libraries for high-speed matrix multiplication and distributes heavy mathematical iterations across multiple CPU threads to accelerate
Distributes element-wise operations and axis reductions across multiple CPU cores using parallel iterators.