Awesome GitHub RepositoriesSQL Metric Extraction

Acest proiect oferă un pipeline de date de observabilitate conceput pentru a colecta, transforma și ruta log-uri, metrici și urme (traces) din surse diverse în formate standardizate pentru analiză. Acesta operează ca o arhitectură de componente bazată pe plugin-uri, folosind receptoare, procesoare și exportatoare modulare pentru a muta datele de telemetrie prin lanțuri de procesare secvențiale. Sistemul utilizează un model de componente bazat pe interfețe care permite conectori interschimbabili și extensii contribuite de comunitate. Se distinge printr-un limbaj specific domeniului (DSL) pentru filtrarea telemetriei, atribuirea resurselor bazată pe metadate pentru detectarea infrastructurii și rezolvarea dinamică a secretelor din manageri cloud externi. Colectorul acoperă o gamă largă de capabilități, inclusiv ingestia de telemetrie de la furnizori cloud și baze de date, transformarea și reagregarea datelor și exportul securizat către backend-uri de stocare terțe. Încorporează funcții de gestionare a traficului, cum ar fi rutarea round-robin și partiționarea mesajelor, precum și primitive de securitate pentru gestionarea identității și a accesului prin OAuth2 și OIDC. Proiectul include un framework de asigurare a calității pentru simularea datelor sintetice, testarea performanței end-to-end și verificarea integrității datelor.