6 repository-uri
Management of a fixed set of worker processes to execute independent functions in parallel.
Distinct from Parallel Task Spawning: Specifically concerns the use of process pools for parallel function execution rather than general scoped spawning
Explore 6 awesome GitHub repositories matching software engineering & architecture · Process Pools. Refine with filters or upvote what's useful.
This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad
Uses process pools to manage collections of worker processes for executing independent functions in parallel.
This project is a Python data science curriculum and programming tutorial collection. It provides a structured set of educational notebooks and scripts designed to teach data analysis, machine learning, and deep learning. The repository serves as a learning path for building and tuning predictive models, including regression, decision trees, and neural networks. It includes a data visualization guide for creating financial time-series plots and a multiprocessing reference for implementing parallel task execution and shared memory synchronization. The curriculum covers broader capability area
Demonstrates how to spawn multiple worker processes to execute functions in parallel and bypass the GIL.
npm-run-all is a command-line and programmatic tool for running multiple npm scripts in sequence, parallel, or mixed combinations without requiring an external task runner. It provides a straightforward way to orchestrate complex multi-step build or test workflows directly from the terminal or from within Node.js application code. The tool distinguishes itself by supporting mixed execution plans that combine sequential and parallel steps into a single command, allowing users to define dependency graphs where some scripts run concurrently while others wait for completion. It manages child-proc
Maintains a pool of child processes to run concurrent scripts and aggregate their exit codes.
Swoft este un framework PHP de înaltă performanță pentru microservicii, conceput pentru a gestiona traficul de rețea concurent și sarcinile asincrone folosind corutine. Oferă o fundație pentru construirea de servicii backend scalabile printr-un runtime bazat pe corutine și servere de înaltă performanță care suportă protocoalele HTTP, WebSocket, RPC și TCP. Framework-ul se distinge printr-un set de instrumente de guvernanță și optimizare, inclusiv un sistem distribuit de coordonare a serviciilor pentru înregistrare, descoperire și circuit breaking. De asemenea, dispune de un manager de pool de conexiuni pentru socket-uri de bază de date și rețea reutilizabile și o bibliotecă pentru programare orientată pe aspecte (AOP) pentru a intercepta și extinde comportamentul metodelor fără a modifica codul sursă. Capabilitățile suplimentare includ un container de dependency injection pentru decuplarea componentelor, execuția sarcinilor în pool-uri de procese pentru calcule grele și un mecanism de programare pentru sarcini recurente. Sistemul suportă, de asemenea, gestionarea centralizată a configurației pentru a sincroniza setările aplicației între diferite medii.
Offloads heavy computational workloads to process pools to prevent blocking the main event loop.
Ergo is a distributed actor framework for Go that implements the Erlang distribution protocol, enabling the construction of resilient, concurrent applications that can communicate transparently with Erlang/OTP nodes. At its core, it provides an actor model with isolated lightweight processes, priority-ordered mailboxes, and a meta-process architecture that separates blocking I/O from sequential message handling to prevent actor freezing. The framework includes a Raft-inspired cluster consensus system for leader election and automatic failover, along with OTP-style supervision trees that organi
Generates a pool of worker processes with configurable size for concurrent task execution via CLI scaffolding.
Joblib este o suită de utilitare pentru paralelizarea sarcinilor de calcul și optimizarea stocării seturilor de date numerice mari și a rezultatelor funcțiilor. Acesta funcționează ca o bibliotecă de calcul paralel și un wrapper de multiprocesare care distribuie execuția funcțiilor pe mai multe nuclee CPU pentru a accelera sarcinile independente și buclele de calcul. Proiectul oferă un framework de caching pe disc care persistă output-urile funcțiilor costisitoare pe sistemul de fișiere, reevaluându-le doar atunci când argumentele de intrare se modifică. Se specializează în continuare în serializarea matricelor numerice mari, utilizând compresia eficientă și maparea memoriei pentru a optimiza stocarea și recuperarea seturilor de date masive. Toolkit-ul include capabilități pentru maparea funcțiilor paralele și utilizarea backend-urilor de execuție pluggable pentru a controla modul în care sarcinile sunt distribuite pe hardware-ul disponibil. Stratul său de stocare acoperă persistența obiectelor complexe și compresia transparentă pentru datele serializate.
Manages worker process pools to distribute independent function calls across multiple CPU cores.