Awesome GitHub RepositoriesLog Processing

Netdata is a real-time infrastructure monitoring tool and multi-node observability platform. It functions as a high-resolution monitoring agent, log and metric aggregator, and time-series database designed to provide full-stack visibility into server health. The system is distinguished by its per-second metric sampling and zero-configuration auto-discovery, which allows for immediate infrastructure tracking upon installation. It utilizes edge-based machine learning and unsupervised models to detect system anomalies and abnormal metric patterns locally on each node. For distributed environment

Fluent Bit este un log shipper cloud-native și un colector unificat de telemetrie conceput ca un pipeline de date eficient din punct de vedere al resurselor. Acesta ingerează log-uri, metrici și urme (traces) din surse multiple, procesându-le în timp real înainte de a direcționa datele către backend-uri de stocare externe. Proiectul funcționează ca un procesor de flux în timp real și procesor de log-uri OpenTelemetry, capabil să transforme și să filtreze datele folosind SQL și logică condițională. Acționează, de asemenea, ca un agent de tracing distribuit care poate eșantiona urmele pentru a reduce volumul de date, păstrând în același timp căile complete ale cererilor. Sistemul oferă livrarea fiabilă a datelor prin buffering bazat pe sistemul de fișiere și logică de reîncercare cu stare pentru a preveni pierderea datelor în timpul întreruperilor. Arhitectura sa modulară suportă plugin-uri de input și output interschimbabile, rutare bazată pe metadate și capacitatea de a extinde funcționalitatea prin biblioteci partajate. Software-ul poate fi implementat ca un container pe diferite arhitecturi CPU și sisteme de operare.