Awesome GitHub RepositoriesDataflow Graph Management

Noria este un motor de dataflow dinamic și o bază de date cu vederi materializate (materialized views) care transformă operațiunile de citire costisitoare în căutări rapide pe bază de cheie. Acesta funcționează ca un sistem cu stare care actualizează incremental vederile dependente pe măsură ce tabelele relaționale de bază se modifică. Sistemul poate funcționa ca un emulator de protocol MySQL, mimând protocolul binar pentru a permite aplicațiilor să preia date precalculate fără a modifica codul clientului. Poate fi utilizat și ca bază de date embedded în Rust, integrând serverul direct într-un program prin binding-uri native pentru a efectua operațiuni de dataflow fără coordonare externă. Proiectul acoperă coordonarea distribuită a fluxului de date, inclusiv monitorizarea stării nodurilor de lucru prin heartbeats. Oferă instrumente pentru gestionarea tabelelor relaționale, sincronizarea incrementală a vederilor și gestionarea grafurilor de flux de date. Observabilitatea este susținută prin colectarea de statistici de domeniu, benchmarking de performanță și un inspector web de date pentru vizualizarea rezultatelor precalculate.

Quasar este un framework de concurență pentru JVM care implementează modelul actor și o bibliotecă de thread-uri lightweight. Oferă unități de execuție izolate care comunică prin mesagerie asincronă pentru a elimina starea mutabilă partajată. Proiectul se distinge printr-un sistem de actori distribuit capabil să opereze pe mai multe noduri de cluster cu registre transparente din punct de vedere al locației și migrarea stării actorilor. Utilizează un scheduler de tip „work-stealing fiber” pentru a gestiona milioane de thread-uri lightweight, permițând sarcinilor să se suspende în timpul operațiunilor I/O non-blocante fără a bloca thread-urile de sistem subiacente. Framework-ul cuprinde un set larg de capabilități, inclusiv ierarhii de supraveghere pentru recuperare tolerantă la erori și canale de comunicare de tip CSP pentru sincronizarea fluxului de date. De asemenea, oferă primitive pentru coordonarea sarcinilor prin futures și variabile de flux de date, precum și instrumente pentru monitorizarea stării fibrelor și detectarea execuțiilor necontrolate. Sistemul este implementat în Java.