Awesome GitHub RepositoriesLog Processing

Netdata is a real-time infrastructure monitoring tool and multi-node observability platform. It functions as a high-resolution monitoring agent, log and metric aggregator, and time-series database designed to provide full-stack visibility into server health. The system is distinguished by its per-second metric sampling and zero-configuration auto-discovery, which allows for immediate infrastructure tracking upon installation. It utilizes edge-based machine learning and unsupervised models to detect system anomalies and abnormal metric patterns locally on each node. For distributed environment

Fluent Bit es un recolector de logs y telemetría unificado, nativo de la nube, diseñado como un pipeline de datos eficiente en recursos. Ingiere logs, métricas y trazas de múltiples fuentes, procesándolos en tiempo real antes de enrutar los datos a backends de almacenamiento externos. El proyecto funciona como un procesador de flujos en tiempo real y procesador de logs de OpenTelemetry, capaz de transformar y filtrar datos utilizando SQL y lógica condicional. También actúa como un agente de rastreo distribuido que puede muestrear trazas para reducir el volumen de datos mientras preserva las rutas completas de las solicitudes. El sistema proporciona una entrega de datos fiable mediante almacenamiento en búfer respaldado por el sistema de archivos y lógica de reintento con estado para evitar la pérdida de datos durante interrupciones. Su arquitectura modular admite plugins de entrada y salida conectables, enrutamiento basado en metadatos y la capacidad de extender la funcionalidad mediante bibliotecas compartidas. El software puede desplegarse como un contenedor a través de diferentes arquitecturas de CPU y sistemas operativos.