Awesome GitHub RepositoriesRunner-Based Execution Models

Apache Beam is a distributed data pipeline framework and unified data processing model designed to handle both bounded batch data and unbounded real-time streams. It provides a system for building scalable, data-parallel workflows that operate across compute clusters using a single programming model. The framework utilizes a cross-runner pipeline abstraction that decouples the data processing logic from the underlying execution backend, allowing the same pipeline to run on different distributed compute engines. It supports multi-language pipeline development by translating high-level code fro

jx este o platformă de livrare GitOps și un orchestrator CI/CD pentru Kubernetes, conceput pentru a automatiza construirea și implementarea aplicațiilor. Acesta funcționează ca un manager de pipeline cloud-native care execută secvențe de build și deployment bazate pe containere, folosind un catalog de sarcini reutilizabile. Proiectul se distinge prin orchestrarea automată a mediilor de previzualizare, care sunt create și distruse pe baza activității pull request-urilor pentru a permite validarea înainte de merge. Utilizează un model de sincronizare a stării bazat pe GitOps pentru a menține starea dorită a clusterelor prin interogarea repository-urilor git și aplicarea actualizărilor de configurare verificate. Sistemul acoperă o gamă largă de capabilități, inclusiv gestionarea implementării Helm chart-urilor, orchestrarea multi-cluster și integrarea cu stocuri de secrete externe. De asemenea, oferă instrumente de productivitate pentru dezvoltatori pentru reconstrucția incrementală a aplicațiilor și sincronizarea codului local-la-pod. Instalarea este gestionată prin implementarea operatorului git și bootstrapping-ul joburilor de cluster pentru a asigura consistența instrumentelor.