Awesome GitHub RepositoriesPipeline Domain Specific Languages

Jenkins is a CI/CD automation server and build automation tool used to orchestrate software build, test, and deployment pipelines. It functions as a pipeline orchestration engine and continuous delivery platform that manages the movement of software from source control to production environments. The project is built as a plugin-based automation framework, utilizing an extensibility model that integrates third-party tools and custom scripts to expand its capabilities. This architecture allows for the integration of specialized automation workflows and custom tool support through a plugin syst

SkyWalking is an application performance monitoring system and observability platform designed to collect and analyze metrics, traces, and logs from distributed microservices. It functions as a distributed tracing platform and a telemetry data pipeline that ingests and aggregates observability data from various language agents. The project features an AI-powered anomaly detector that uses machine learning to calculate metric baselines and identify irregular URI patterns. It includes an eBPF performance profiler for diagnosing CPU and network bottlenecks at the kernel level and generates inter

Connect is a Kafka data integration platform and stream processing engine used to build declarative pipelines that move and transform messages between Kafka topics and external sources. It functions as a Kafka Connect framework and a change data capture tool, streaming real-time database modifications to synchronize data across distributed environments. The project differentiates itself through a dedicated mapping language for mutating and reshaping message payloads and the ability to execute custom processing logic within a sandboxed WebAssembly runtime. It also provides an observability pip

Benthos is a declarative stream processor and data integration pipeline used to route, transform, and filter information between disparate services. It functions as an at-least-once message broker and change data capture engine, using a transaction model to guarantee message delivery despite system crashes or server faults. The system is defined by an observability-first approach, featuring built-in HTTP health probes, performance metrics export, and distributed request flow tracing. It utilizes a plugin architecture that allows the core engine to be extended with custom binaries for new inpu

This project is a containerized build automation system and self-hosted DevOps platform provided as a Docker image. It serves as a distributed build orchestrator and a Dockerized continuous integration and delivery server, ensuring consistent execution environments across different infrastructure. The system distinguishes itself through a distributed execution model that separates a primary controller from multiple remote agents connected via SSH, TCP, or web sockets. It utilizes a modular extensibility framework that allows the core system functionality to be augmented through the installati

Acest proiect oferă un pipeline de date de observabilitate conceput pentru a colecta, transforma și ruta log-uri, metrici și urme (traces) din surse diverse în formate standardizate pentru analiză. Acesta operează ca o arhitectură de componente bazată pe plugin-uri, folosind receptoare, procesoare și exportatoare modulare pentru a muta datele de telemetrie prin lanțuri de procesare secvențiale. Sistemul utilizează un model de componente bazat pe interfețe care permite conectori interschimbabili și extensii contribuite de comunitate. Se distinge printr-un limbaj specific domeniului (DSL) pentru filtrarea telemetriei, atribuirea resurselor bazată pe metadate pentru detectarea infrastructurii și rezolvarea dinamică a secretelor din manageri cloud externi. Colectorul acoperă o gamă largă de capabilități, inclusiv ingestia de telemetrie de la furnizori cloud și baze de date, transformarea și reagregarea datelor și exportul securizat către backend-uri de stocare terțe. Încorporează funcții de gestionare a traficului, cum ar fi rutarea round-robin și partiționarea mesajelor, precum și primitive de securitate pentru gestionarea identității și a accesului prin OAuth2 și OIDC. Proiectul include un framework de asigurare a calității pentru simularea datelor sintetice, testarea performanței end-to-end și verificarea integrității datelor.

This project is a library of version-controlled workflow definitions and a collection of Groovy scripts and configuration snippets for implementing continuous integration and delivery automation in Jenkins. It serves as a reference for building automated pipelines using both declarative syntax and scripted logic. The repository provides template collections and implementation patterns for creating software build and deployment workflows. It includes reusable functions and logic patterns designed to standardize pipeline behavior and eliminate code duplication across multiple projects through t

Acest proiect este un motor de flux de lucru pentru machine learning containerizat și orchestrator conceput pentru a automatiza ciclul de viață end-to-end al modelelor de machine learning pe clustere Kubernetes. Funcționează ca un compilator de pipeline MLOps care transformă un limbaj specific domeniului în specificații structurate pentru implementare portabilă și scalabilă. Platforma oferă un mediu multi-tenant cu namespace-uri izolate și autentificare prin furnizor de identitate. Se distinge printr-o combinație de izolare a sarcinilor bazată pe containere, gestionarea artefactelor puternic tipizate pentru transferul de date și caching-ul rezultatelor adresabile prin conținut pentru a evita calculele redundante. Sistemul acoperă orchestrarea cuprinzătoare a fluxului de lucru, inclusiv execuția sarcinilor în paralel, programarea recurentă a rulărilor și logica de ramificare condiționată. De asemenea, suportă urmărirea experimentelor, colectarea metricilor fluxului de lucru și gestionarea componentelor de pipeline reutilizabile, cu posibilitatea de a configura cerințe specifice de resurse hardware pentru CPU, memorie și GPU. Software-ul este distribuit printr-un SDK Python și poate fi implementat în medii standalone, locale sau multi-tenant.