Awesome GitHub RepositoriesLog Processing

Netdata is a real-time infrastructure monitoring tool and multi-node observability platform. It functions as a high-resolution monitoring agent, log and metric aggregator, and time-series database designed to provide full-stack visibility into server health. The system is distinguished by its per-second metric sampling and zero-configuration auto-discovery, which allows for immediate infrastructure tracking upon installation. It utilizes edge-based machine learning and unsupervised models to detect system anomalies and abnormal metric patterns locally on each node. For distributed environment

Fluent Bit 是一个云原生日志转发器和统一遥测收集器，设计为资源高效的数据流水线。它从多个来源摄取日志、指标和追踪信息，并在将数据路由到外部存储后端之前进行实时处理。 该项目作为一个实时流处理器和 OpenTelemetry 日志处理器，能够使用 SQL 和条件逻辑转换和过滤数据。它还充当分布式追踪代理，可以对追踪进行采样以减少数据量，同时保留完整的请求路径。 该系统通过基于文件系统的缓冲和有状态重试逻辑提供可靠的数据交付，以防止停机期间的数据丢失。其模块化架构支持可插拔的输入和输出插件、元数据驱动的路由，以及通过共享库扩展功能的能力。 该软件可以作为容器部署在不同的 CPU 架构和操作系统上。