7 Repos
Encoding data into byte-oriented formats using match-copy logic for high-throughput reduction.
Distinct from Data Encoders: Focuses on compression encoding efficiency rather than cryptographic or serialization encoding.
Explore 7 awesome GitHub repositories matching data & databases · Byte-Oriented Block Encoding. Refine with filters or upvote what's useful.
This project provides a lossless compression algorithm and a byte-oriented compression library designed for high-speed data reduction and maximum decompression speed. It functions as a stream-oriented compression engine, a software library for encoding and decoding data blocks, and a command-line tool for managing interoperable compressed frames. The system distinguishes itself through the use of predefined pattern dictionaries to improve compression ratios for small data sets and small packets. It supports multiple processing modes, including high-speed block compression for minimal latency
Encodes data into a byte-oriented format using match-copy logic to minimize size while maintaining high throughput.
Fluent Bit ist ein Cloud-nativer Log-Shipper und einheitlicher Telemetrie-Collector, der als ressourceneffiziente Datenpipeline konzipiert ist. Er nimmt Logs, Metriken und Traces aus mehreren Quellen auf und verarbeitet sie in Echtzeit, bevor die Daten an externe Speicher-Backends weitergeleitet werden. Das Projekt fungiert als Echtzeit-Stream-Prozessor und OpenTelemetry-Log-Prozessor, der in der Lage ist, Daten mithilfe von SQL und bedingter Logik zu transformieren und zu filtern. Es fungiert zudem als verteilter Tracing-Agent, der Traces sampeln kann, um das Datenvolumen zu reduzieren und gleichzeitig vollständige Anforderungspfade zu bewahren. Das System bietet eine zuverlässige Datenübermittlung durch dateisystembasiertes Buffering und zustandsbehaftete Wiederholungslogik, um Datenverlust bei Ausfällen zu verhindern. Seine modulare Architektur unterstützt steckbare Eingabe- und Ausgabe-Plugins, metadatengesteuertes Routing und die Möglichkeit, Funktionen über gemeinsam genutzte Bibliotheken zu erweitern. Die Software kann als Container über verschiedene CPU-Architekturen und Betriebssysteme hinweg bereitgestellt werden.
Serializes and encodes processed telemetry data into specific binary or text protocols for remote delivery.
Encodes audio data directly into byte buffers without intermediate disk writes.
Libation is a comprehensive audiobook management system designed to download, decrypt, and organize Audible audiobooks. It integrates account authentication, library synchronization, DRM removal, and format transcoding into a single desktop application with a plugin-free graphical interface and a built-in theme editor. The project distinguishes itself through a batch library synchronization engine that scans all configured Audible accounts in one pass, a metadata tag rewriting system that corrects chapter markers and cover art after decryption, and a template-based file naming engine that con
Transcodes audiobooks from multiple formats to MP3 for broader player compatibility.
This is a cross-platform media processing library that reads, writes, encodes, and decodes media in both browser and server environments. It supports common container formats including ISOBMFF, Matroska, Ogg, MPEG-TS, and HLS, and handles codec operations through a combination of WebCodecs API and WebAssembly-based encoders. Media is processed in streaming pipelines that maintain constant memory usage and automatically apply backpressure from output speed to all upstream components. The library distinguishes itself through a plugin-based codec registration system that allows extending support
Encodes audio to FLAC lossless format using a WebAssembly-based encoder.
Cellnet ist ein Go-Netzwerk-Framework, das für den Aufbau verteilter Systeme und Peer-to-Peer-Netzwerke entwickelt wurde. Es bietet einen Multi-Protokoll-Transport-Layer, der den Nachrichtenaustausch über TCP, UDP und WebSockets standardisiert, und nutzt ein binäres Nachrichten-Codec-System, um Nachrichtentypen auf eindeutige Identifikatoren für die Netzwerkübertragung abzubilden. Das Framework zeichnet sich durch seine Remote-Procedure-Call-Bibliothek aus, die die Ausführung von Funktionen auf Remote-Peers unter Verwendung synchroner oder asynchroner Request-Muster ermöglicht. Es differenziert sich zudem durch einen asynchronen Event-Dispatcher, der Netzwerk-Callbacks über ein sequentielles Ausführungsmodell verarbeitet, um Nebenläufigkeit und Thread-Sicherheit zu verwalten. Zu seinen breiteren Fähigkeiten gehören die Entwicklung benutzerdefinierter Netzwerkprotokolle durch steckbare Serialisierungs-Codecs, automatisiertes Peer-Verbindungsmanagement mit Session-Tracking und Wiederverbindungslogik sowie ein handlerbasiertes Routing-System zur Steuerung des Netzwerkverkehrs. Es integriert zudem Tools für das Monitoring der Peer-Gesundheit, das Logging des Netzwerkverkehrs und das Bereitstellen von Dateien über HTTP.
Supports the use of multiple encoding schemes within a single session for network message serialization.
Rueidis is a high-performance Redis client library for Go that provides a type-safe and asynchronous interface for interacting with Redis servers. It includes a full implementation of the Redis serialization protocol and a dedicated connection manager to handle pooling, multiplexing, and automatic pipelining. The library is distinguished by its support for RDMA connectivity to reduce latency and CPU overhead. It features a distributed lock manager that implements majority-based locking and optimistic concurrency control, as well as client-side caching with invalidation signals to minimize net
Implements the encoding of complex data structures into compliant byte sequences for Redis transmission.