1 repositorio
Local disk-based buffering of data to ensure reliability and prevent loss during system failures.
Distinct from Data Persistence: Specifically implements a temporary filesystem buffer for data pipeline reliability, not general application state persistence.
Explore 1 awesome GitHub repository matching data & databases · Filesystem Buffering. Refine with filters or upvote what's useful.
Fluent Bit es un recolector de logs y telemetría unificado, nativo de la nube, diseñado como un pipeline de datos eficiente en recursos. Ingiere logs, métricas y trazas de múltiples fuentes, procesándolos en tiempo real antes de enrutar los datos a backends de almacenamiento externos. El proyecto funciona como un procesador de flujos en tiempo real y procesador de logs de OpenTelemetry, capaz de transformar y filtrar datos utilizando SQL y lógica condicional. También actúa como un agente de rastreo distribuido que puede muestrear trazas para reducir el volumen de datos mientras preserva las rutas completas de las solicitudes. El sistema proporciona una entrega de datos fiable mediante almacenamiento en búfer respaldado por el sistema de archivos y lógica de reintento con estado para evitar la pérdida de datos durante interrupciones. Su arquitectura modular admite plugins de entrada y salida conectables, enrutamiento basado en metadatos y la capacidad de extender la funcionalidad mediante bibliotecas compartidas. El software puede desplegarse como un contenedor a través de diferentes arquitecturas de CPU y sistemas operativos.
Prevents data loss during crashes by storing processed information in a filesystem buffer with checksums.