1 Repo
Awesome GitHub RepositoriesFilesystem Buffering
Local disk-based buffering of data to ensure reliability and prevent loss during system failures.
Distinct from Data Persistence: Specifically implements a temporary filesystem buffer for data pipeline reliability, not general application state persistence.
Explore 1 awesome GitHub repository matching data & databases · Filesystem Buffering. Refine with filters or upvote what's useful.
Awesome Filesystem Buffering GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- fluent/fluent-bit
fluent/fluent-bit
7,946Auf GitHub ansehenFluent Bit ist ein Cloud-nativer Log-Shipper und einheitlicher Telemetrie-Collector, der als ressourceneffiziente Datenpipeline konzipiert ist. Er nimmt Logs, Metriken und Traces aus mehreren Quellen auf und verarbeitet sie in Echtzeit, bevor die Daten an externe Speicher-Backends weitergeleitet werden. Das Projekt fungiert als Echtzeit-Stream-Prozessor und OpenTelemetry-Log-Prozessor, der in der Lage ist, Daten mithilfe von SQL und bedingter Logik zu transformieren und zu filtern. Es fungiert zudem als verteilter Tracing-Agent, der Traces sampeln kann, um das Datenvolumen zu reduzieren und gleichzeitig vollständige Anforderungspfade zu bewahren. Das System bietet eine zuverlässige Datenübermittlung durch dateisystembasiertes Buffering und zustandsbehaftete Wiederholungslogik, um Datenverlust bei Ausfällen zu verhindern. Seine modulare Architektur unterstützt steckbare Eingabe- und Ausgabe-Plugins, metadatengesteuertes Routing und die Möglichkeit, Funktionen über gemeinsam genutzte Bibliotheken zu erweitern. Die Software kann als Container über verschiedene CPU-Architekturen und Betriebssysteme hinweg bereitgestellt werden.
Prevents data loss during crashes by storing processed information in a filesystem buffer with checksums.
C
