3 repository-uri
Awesome GitHub RepositoriesConcurrent Stream Processing
Processing multiple data elements across pipeline stages simultaneously to maximize throughput.
Distinct from Per-Element Effect Execution: None of the candidates cover general concurrent element processing in data streams without being tied to images or hardware optimization.
Explore 3 awesome GitHub repositories matching data & databases · Concurrent Stream Processing. Refine with filters or upvote what's useful.
Awesome Concurrent Stream Processing GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- matz/streem
matz/streem
4,598Vezi pe GitHubStreem este un limbaj de programare bazat pe fluxuri (stream-based) și un orchestrator de pipeline-uri de date. Oferă un limbaj specific domeniului (DSL) pentru definirea fluxurilor de date concurente, permițând utilizatorilor să lege sursele de date la destinații printr-o secvență de operațiuni care transformă și filtrează elementele individuale ale fluxului. Sistemul utilizează o sintaxă de script personalizată pentru a defini conexiunile fluxului de date și definițiile pipeline-ului. Acest lucru permite orchestrarea procesării concurente a datelor, unde mai multe etape ale pipeline-ului se execută simultan pentru a muta elementele de date prin sistem. Platforma acoperă transformarea funcțională a datelor și compoziția bazată pe etape, aplicând funcții specifice pentru a modifica sau filtra elementele pe măsură ce trec printr-un lanț secvențial de operațiuni legate.
Executes multiple pipeline stages simultaneously to move data elements through the system with higher throughput.
C - erikrose/more-itertools
erikrose/more-itertools
4,074Vezi pe GitHubmore-itertools este o bibliotecă utilitară pentru iterabile în Python, care oferă funcții avansate pentru manipularea, filtrarea și transformarea secvențelor de date. Servește drept set de instrumente pentru procesarea fluxurilor de date și gestionarea stării iteratorilor, extinzând capabilitățile modulului standard itertools din Python. Biblioteca include un set de instrumente matematice combinatorice pentru generarea de permutări, combinații și mulțimi de puteri, alături de rutine pentru calcule de teoria numerelor și operații cu matrice. De asemenea, oferă instrumente pentru gestionarea stării fluxurilor, permițând utilizatorilor să verifice elementele viitoare sau să navigheze într-o secvență pentru a controla modul în care sunt consumate datele. Capabilitățile suplimentare acoperă rutine de procesare a datelor pentru fragmentarea (chunking), intercalarea și aplatizarea secvențelor complexe. Setul de instrumente include, de asemenea, funcții pentru analizarea proprietăților iterabilelor și sincronizarea fluxurilor de date concurente.
Provides capabilities to synchronize and distribute data across multiple simultaneous consumers to prevent race conditions.
Python - lycheeverse/lychee
lycheeverse/lychee
3,729Vezi pe GitHubLychee is a command line link checker written in Rust that scans websites and local files to identify broken hyperlinks and invalid email addresses. It functions as an asynchronous link validator and static site auditor designed to ensure content accessibility and quality. The tool features disk-based response caching to accelerate subsequent scans and avoid redundant network requests. It supports token-based API authentication for services like GitHub to bypass rate limits when verifying links on remote repositories. The project covers a range of capabilities including multi-format content
Implements concurrent processing of network requests and file reads via asynchronous streams to maximize validation throughput.
Rust
