6 dépôts
Management of a fixed set of worker processes to execute independent functions in parallel.
Distinct from Parallel Task Spawning: Specifically concerns the use of process pools for parallel function execution rather than general scoped spawning
Explore 6 awesome GitHub repositories matching software engineering & architecture · Process Pools. Refine with filters or upvote what's useful.
This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad
Uses process pools to manage collections of worker processes for executing independent functions in parallel.
This project is a Python data science curriculum and programming tutorial collection. It provides a structured set of educational notebooks and scripts designed to teach data analysis, machine learning, and deep learning. The repository serves as a learning path for building and tuning predictive models, including regression, decision trees, and neural networks. It includes a data visualization guide for creating financial time-series plots and a multiprocessing reference for implementing parallel task execution and shared memory synchronization. The curriculum covers broader capability area
Demonstrates how to spawn multiple worker processes to execute functions in parallel and bypass the GIL.
npm-run-all is a command-line and programmatic tool for running multiple npm scripts in sequence, parallel, or mixed combinations without requiring an external task runner. It provides a straightforward way to orchestrate complex multi-step build or test workflows directly from the terminal or from within Node.js application code. The tool distinguishes itself by supporting mixed execution plans that combine sequential and parallel steps into a single command, allowing users to define dependency graphs where some scripts run concurrently while others wait for completion. It manages child-proc
Maintains a pool of child processes to run concurrent scripts and aggregate their exit codes.
Swoft est un framework PHP microservice haute performance conçu pour gérer le trafic réseau concurrent et les tâches asynchrones en utilisant des coroutines. Il fournit une base pour construire des services backend évolutifs via un runtime piloté par coroutines et des serveurs haute performance prenant en charge les protocoles HTTP, WebSocket, RPC et TCP. Le framework se distingue par un ensemble d'outils de gouvernance et d'optimisation, incluant un système de coordination de services distribués pour l'enregistrement, la découverte et le circuit breaking. Il dispose également d'un gestionnaire de pool de connexions pour les sockets de base de données et réseau réutilisables, ainsi qu'une bibliothèque pour la programmation orientée aspect afin d'intercepter et d'étendre le comportement des méthodes sans modifier le code source. Les capacités supplémentaires incluent un conteneur d'injection de dépendances pour le découplage des composants, l'exécution de tâches en pool de processus pour les calculs lourds et un mécanisme de planification pour les tâches récurrentes. Le système prend également en charge la gestion centralisée de la configuration pour synchroniser les paramètres d'application à travers différents environnements.
Offloads heavy computational workloads to process pools to prevent blocking the main event loop.
Ergo is a distributed actor framework for Go that implements the Erlang distribution protocol, enabling the construction of resilient, concurrent applications that can communicate transparently with Erlang/OTP nodes. At its core, it provides an actor model with isolated lightweight processes, priority-ordered mailboxes, and a meta-process architecture that separates blocking I/O from sequential message handling to prevent actor freezing. The framework includes a Raft-inspired cluster consensus system for leader election and automatic failover, along with OTP-style supervision trees that organi
Generates a pool of worker processes with configurable size for concurrent task execution via CLI scaffolding.
Joblib est une suite d'utilitaires pour paralléliser les charges de travail computationnelles et optimiser le stockage de grands jeux de données numériques et de résultats de fonctions. Elle fonctionne comme une bibliothèque de calcul parallèle et un wrapper de multiprocessing qui distribue l'exécution des fonctions sur plusieurs cœurs CPU pour accélérer les tâches indépendantes et les boucles computationnelles. Le projet fournit un framework de mise en cache sur disque qui persiste les sorties de fonctions coûteuses sur le système de fichiers, en les réévaluant uniquement lorsque les arguments d'entrée changent. Il se spécialise en outre dans la sérialisation de grands tableaux numériques, utilisant une compression efficace et un mappage mémoire pour optimiser le stockage et la récupération de jeux de données massifs. La boîte à outils inclut des capacités pour le mappage de fonctions parallèles et l'utilisation de backends d'exécution enfichables pour contrôler la façon dont les tâches sont distribuées sur le matériel disponible. Sa couche de stockage couvre la persistance d'objets complexes et la compression transparente pour les données sérialisées.
Manages worker process pools to distribute independent function calls across multiple CPU cores.