Awesome GitHub RepositoriesWorker Process Isolation

Vendure is a Node.js e-commerce engine and headless commerce framework built with NestJS and TypeScript. It serves as a multi-channel commerce platform that manages product catalogs, orders, and customers via a strongly typed GraphQL API. The platform is distinguished by its highly extensible architecture, featuring a customizable administrative dashboard where developers can inject custom React components and entity views. It supports multi-channel commerce, allowing the isolation of products, currencies, and regional catalogs from a single unified backend. The engine covers a broad range o

Mediasoup is a selective forwarding unit used for real-time media routing. It enables the development of low-latency audio and video communication systems by routing streams between participants without transcoding. The project provides embedded media routing logic that can be integrated directly into an application. It supports simulcast and quality layering, allowing the system to adapt resolution and bitrate based on real-time bandwidth estimations to maintain connection stability. The capability surface includes media track management for audio, video, and screen capture, as well as bidi

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Monty is a sandboxed execution environment designed primarily for running Python code generated by AI models. It provides a secure, isolated runtime that blocks host access, enforces resource limits, and supports pre-execution type checking against built-in type hints to catch signature mismatches before code runs. The sandbox can persist its interpreter state at external function calls, allowing execution sessions to be serialized, stored, and later resumed from a file or database. What distinguishes Monty is its combination of stateful, resumable execution with multi-language native embeddi

Buildbot ist ein auf Python basierendes Continuous-Integration-Framework und ein verteilter Build-Orchestrator. Es fungiert als Build-Automatisierungs-Engine, die das Abrufen von Quellcode, die Ausführung von Build-Schritten und die Berichterstattung über Ergebnisse über einen zentralen Controller und ein Netzwerk aus Remote-Worker-Agents koordiniert. Das System zeichnet sich durch eine plugin-basierte Erweiterbarkeitsarchitektur und ein Master-Worker-Verteilungsmodell aus. Es ermöglicht dynamische Build-Anpassungen zur Laufzeit und unterstützt ein austauschbares Datenbank-Backend zur Persistierung des Systemzustands und historischer Build-Daten. Das Projekt deckt ein breites Spektrum an Funktionen ab, darunter automatisierte Build-Planung und Pipeline-Orchestrierung, Versionskontrollintegration via Polling und Webhooks sowie die Bereitstellung von Workern auf physischen Servern, Docker-Containern und Kubernetes-Clustern. Zudem bietet es umfassende Überwachung und Observability durch Build-Log-Analyse und Performance-Tracking sowie sicheres Secret-Management und Multi-Provider-Authentifizierung. Die administrative Steuerung erfolgt über eine dedizierte Weboberfläche und Befehlszeilenwerkzeuge zur Konfigurationsvalidierung und Prozessverwaltung.

Granian is a Rust-based HTTP server written specifically to serve Python web applications. It supports the three major Python gateway interfaces—ASGI for asynchronous apps, WSGI for synchronous apps, and RSGI for async requests—while also handling HTTP/1.1, HTTP/2, and WebSocket connections through automatic protocol negotiation. Architecturally, Granian uses a multiprocess worker model that isolates requests across CPU cores and provides configurable threadpool-limited concurrency to control backpressure per worker. It includes built-in Prometheus metrics exposition for connection counts and

Azkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.

Kore is an event-driven web and WebSocket server framework designed for building high-performance web services and APIs in C or Python. It functions as a secure, concurrent application framework that utilizes non-blocking I/O and isolated worker processes to handle high-concurrency traffic. The project is distinguished by a security-first architecture that features OS-level process sandboxing, privilege separation, and the isolation of private encryption keys into dedicated processes. It enables zero-downtime deployments through dynamic module hot-reloading and provides automated TLS certific

Sozu ist ein hochperformanter, speichersicherer Reverse Proxy und Load Balancer, der in Rust geschrieben wurde. Er ist darauf ausgelegt, HTTP-, TCP- und UDP-Traffic durch eine Multi-Prozess-Architektur zu verwalten, die isolierte Worker-Prozesse nutzt, um Fehlertoleranz und eine effiziente Ressourcennutzung auf Multi-Core-Hardware sicherzustellen. Das Projekt zeichnet sich durch einen Fokus auf kontinuierliche Verfügbarkeit und dynamische Kontrolle aus. Es bietet einen einzigartigen Mechanismus für binäres Hot-Reloading und eine Unix-Socket-basierte Control-Plane, die es Administratoren ermöglicht, Proxy-Konfigurationen zu aktualisieren, Listener-Einstellungen zu modifizieren und sogar die Proxy-Binärdatei zu ersetzen, ohne aktive Client-Verbindungen zu trennen oder den Dienst zu unterbrechen. Dieses Design stellt sicher, dass die Infrastruktur während Updates und Laufzeitanpassungen reaktionsfähig und sicher bleibt. Über seine Kern-Routing-Fähigkeiten hinaus bietet der Proxy eine umfassende Suite an Tools für Edge-Security und Traffic-Management. Er handhabt TLS-Terminierung, setzt Zugriffskontrollrichtlinien durch und mindert protokollbasierte Flood-Angriffe, insbesondere für HTTP/2-Traffic. Das System enthält zudem umfangreiche Observability-Funktionen, die Echtzeit-Performance-Monitoring, verteilte Trace-Propagation und strukturiertes Audit-Logging für alle Konfigurationsänderungen und Systemereignisse bieten.