15 Repos
Specific implementation of the Gzip algorithm to reduce data size.
Distinct from Data Compression Algorithms: Distinct from general algorithms by focusing specifically on the Gzip format implementation.
Explore 15 awesome GitHub repositories matching data & databases · Gzip Compression. Refine with filters or upvote what's useful.
This project is a learning guide and collection of study notes designed to teach Node.js backend development. It provides a comprehensive core API reference and practical demonstrations for implementing server-side logic, network programming, and system APIs. The guide specifically covers advanced technical domains including process management for scaling applications via clusters and child processes, as well as network programming for building TCP, UDP, and HTTP services. It also includes detailed instructional material on security implementation, focusing on cryptographic hashing and encryp
Implements the Gzip algorithm to reduce data size for efficient storage and transmission.
This project is a collection of scripts and configuration files designed to automate the deployment of developer toolsets, big data tools, and system-wide dotfiles. It serves as a provisioning system for installing languages, data analysis tools, and system dependencies across diverse programming stacks. The suite provides specialized automation for macOS developer onboarding and the setup of Python data science workflows. It includes dedicated installers for distributed processing engines like Spark and Hadoop, as well as environments for web and mobile development. The system covers a broa
Calculates compression ratios by comparing original file sizes against their gzipped versions.
SVGOMG is a browser-based SVG minification tool that applies SVGO transformations entirely on the client side. It processes SVG files in a Web Worker to keep the user interface responsive, then displays the original and optimized file sizes side by side, including gzipped size estimates. The tool provides a live preview of the optimized SVG markup, rendered directly in the browser for immediate visual feedback. Users can configure which SVGO optimization plugins are enabled or disabled, set numerical precision for coordinates and transforms, and optionally pretty-print the output. Multiple op
Displays estimated gzipped file size to show real-world transfer savings after optimization.
JSONKit ist eine Objective-C-Bibliothek zum Parsen, Serialisieren und Manipulieren von JSON-Daten. Sie fungiert als JSON-Parser, der Text in native Datenstrukturen konvertiert, und als Serializer, der native Objekte in formatierten JSON-Text umwandelt. Die Bibliothek enthält einen Gzip-Kompressions-Wrapper, der serialisierte JSON-Payloads komprimiert, um die Netzwerktransfergröße zu reduzieren, und Gzip-Buffer vor dem Dekodieren automatisch erkennt und dekomprimiert. Das Toolset bietet Funktionen für JSON-Parsing und -Serialisierung und unterstützt anpassbare Einrückungen, Character-Escaping sowie flexibles Kommentieren.
Provides a gzip compression layer to minimize the size of serialized JSON data payloads.
Pako is a pure JavaScript compression library that ports the C zlib library to JavaScript, providing deflate and gzip compression and decompression capabilities. It runs in both browser and Node.js environments by using typed arrays and universal JavaScript, avoiding platform-specific APIs for cross-platform compatibility. The library handles data through bitwise operations for Huffman coding and LZ77 matching, and automatically encodes string inputs to UTF-8 before compression while decoding them back on decompression. It supports streaming chunk-based processing, allowing incremental data h
Detect string input and encode it to UTF-8 before compression, and decode decompressed UTF-8 data back to a JavaScript string when requested.
🚀 A Complete Fast Android Networking Library that also supports HTTP/2 🚀
Compresses outgoing request bodies with GZIP transparently to reduce payload size.
KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates
Fixes GZIP compression for empty responses to ensure compatibility with strict parsers.
This is a high-performance Go compression library providing implementations of Zstandard, Snappy, and Huffman coding. It includes a parallel compression framework for distributing gzip and stream workloads across multiple CPU cores and a specialized Huffman codec optimized for modern CPU architectures. The library features a Zstandard implementation that supports custom dictionaries and allocation-free decoding, alongside a Snappy compatible encoder for high-throughput data processing. It provides specific tools for dictionary generation and optimization to improve compression ratios for smal
Provides a parallelized implementation of Gzip to distribute workloads across multiple CPU cores.
go-restful ist ein Framework für den Bau von RESTful-Webdiensten in Go. Es fungiert als Toolkit für die Verwaltung von API-Endpunkten und bietet einen Request-Router, der eingehende HTTP-Anfragen mithilfe von Pfadparametern und benutzerdefinierten URL-Mustern auf Handler-Funktionen abbildet. Das Framework enthält eine Datenkonvertierungsschicht, die Go-Strukturen für Request- und Response-Bodys in JSON- oder XML-Formate transformiert. Es bietet zudem ein System zur Organisation zusammengehöriger Webdienste in Containern, um Endpunkt-Präfixe und geteilte Konfigurationen zu verwalten. Das Projekt deckt das Request-Lifecycle-Management durch Middleware-Filter für Validierung und Authentifizierung ab sowie die Verwaltung von Cross-Origin-Resource-Sharing-Headern. Zusätzliche Funktionen umfassen Payload-Kompression mittels gzip oder deflate sowie Panic-Recovery-Middleware zur Rückgabe standardisierter Fehlerantworten.
Compresses response streams using gzip or deflate to reduce network bandwidth usage.
Dieses Projekt ist ein Unix-Backup-Orchestrator, der zur Modellierung und Ausführung von Full-Stack-Datenschutz verwendet wird. Es fungiert als Managementsystem für Datenbank-Dumps, verschlüsselte Archivierung, Versionsrotation und Remote-Speichertransport. Das System zeichnet sich dadurch aus, dass es native System-Tools für verschiedene Datenbanken orchestriert, einschließlich PostgreSQL, MySQL, MongoDB, Redis und Riak. Es verwendet einen sicheren Archiv-Workflow, der Kompression und Verschlüsselung mittels GPG, OpenSSL oder AES kombiniert, bevor Pakete an S3-kompatible Dienste, Dropbox oder Remote-Server via SFTP und RSync übertragen werden. Zu den breiten Funktionen gehören die Automatisierung der Datensynchronisation durch Delta-Transfers und Chunked-Uploads sowie ein zustandsbasiertes Retention-Management, um historische Archive zu rotieren und zu bereinigen. Der Orchestrator verfügt zudem über ein Mehrkanal-Benachrichtigungssystem, das sich in E-Mail, HTTP POST, PagerDuty und verschiedene Chat-Plattformen integriert, um Administratoren über Operationsergebnisse zu informieren. Benutzer können diese Workflows mithilfe eines konfigurationsbasierten Modells definieren, das dynamische Variableninjektion und Syntaxvalidierung unterstützt.
Reduces file size using the Gzip algorithm with adjustable compression levels for efficient transfers.
Bundlesize ist ein Continuous-Integration-Tool zur Berechnung von JavaScript-Bundle-Größen, zur Verfolgung des Asset-Wachstums und zum Blockieren von Deployments, die vordefinierte Größenlimits überschreiten. Es fungiert als Validator und Reporter für Bundle-Größen, der JavaScript-Build-Dateien überwacht, um unerwartetes Wachstum zu verhindern. Das Tool lässt sich direkt in Build-Pipelines integrieren, um Performance-Budgets für das Frontend durchzusetzen. Es kommuniziert Validierungsergebnisse über API-Aufrufe an Versionskontrollplattformen zurück, wodurch es signalisieren kann, wenn Größenlimits überschritten werden, und Pull Requests in CI-Workflows blockieren kann. Das System identifiziert Ziel-Assets mithilfe von Glob-Mustern und ordnet sie über eine Konfigurationsdatei spezifischen Größenbeschränkungen zu. Die Größenanalyse erfolgt durch die Bewertung sowohl der Rohdateigrößen als auch komprimierter Versionen (z. B. Gzip oder Brotli) im Vergleich zu Maximalwerten.
Calculates the estimated file size after Gzip or Brotli compression to monitor actual payload weights.
lz-string ist eine JavaScript-Bibliothek und ein CLI-Tool zur Komprimierung und Dekomprimierung von String-Daten mittels Lempel-Ziv-Algorithmen. Es bietet Dienstprogramme zur Reduzierung der Größe von Strings und Dateien, um Speicherplatz und Netzwerkbandbreite zu optimieren. Das Projekt enthält spezialisierte Encoder, um sicherzustellen, dass komprimierte Daten mit verschiedenen Transportebenen kompatibel sind. Dazu gehören Optionen für Base64-Kodierung, UTF-16-String-Mapping für höhere Speicherdichte und URI-sichere Übersetzung für die Verwendung in Webadressen. Die Bibliothek unterstützt clientseitige Datenkomprimierung zur Optimierung des lokalen Speichers und bietet eine Befehlszeilenschnittstelle für Komprimierungs- und Dekomprimierungsvorgänge von Dateien oder Standard-Input.
Provides a utility for reducing the size of string data using an LZ-based algorithm to optimize storage.
Dieses Projekt ist eine Sammlung von Unix-Dotfiles und Skripten, die darauf ausgelegt sind, eine Shell- und Betriebssystemumgebung zu personalisieren und zu standardisieren. Es bietet portable Konfigurationen für die Bash- und Fish-Shells sowie benutzerdefinierte Präferenzen und Befehlszuordnungen für den Vim-Editor. Die Sammlung enthält automatisierte Bootstrapping-Skripte zur Initialisierung neuer Maschinen durch die Installation von Anwendungen, die Verwaltung von Paketmanagern und das Erstellen von Konfigurations-Symlinks. Sie bietet spezialisierte Git-Workflow-Automatisierung zur Beschleunigung von Versionskontrollaufgaben sowie eine sichere SSH-Verbindungsverwaltung unter Verwendung hardwarebasierter Authentifizierung und Verbindungspersistenz. Der Funktionsumfang erstreckt sich auf eine breite Palette von Systemadministrationstools, einschließlich interaktiver Prozessbeendigung, lernbasierter Verzeichnisnavigation und Pfadprüfung für Binärdateien. Zudem deckt sie Helfer für die Entwicklerproduktivität ab, wie Browser-Automatisierung, lokales Hosting statischer Dateien und Medienverarbeitungsaufgaben wie Videotranskodierung und visuellen Bildvergleich.
Includes a utility that calculates and previews the estimated size of a file after gzip compression.
source-map-explorer ist ein Source-Map-Bundle-Analysator, der die Platznutzung gebündelter JavaScript-Dateien visualisiert. Er fungiert als Bundle-Size-Auditor und Visualisierer und verwendet Source Maps, um zu identifizieren, welche ursprünglichen Module und Dateien den meisten Platz innerhalb eines Produktions-Bundles einnehmen. Das Tool generiert eine interaktive Treemap, um die Bundle-Zusammensetzung darzustellen, und berechnet komprimierte Gzip-Größen, um die tatsächlichen Netzwerkübertragungskosten abzuschätzen. Es dient zudem als Code-Coverage-Mapper, indem Ausführungsdaten auf Source Maps gelegt werden, um ungenutzte Code-Segmente zu identifizieren, die aufgeschoben oder gesplittet werden können. Das Utility bietet Funktionen zur Pfad-Sanitisierung mittels regulärer Ausdrücke, um Dateilabels zu vereinfachen, und unterstützt den Export von Analyseergebnissen in HTML-, JSON- oder TSV-Formate.
Provides estimates of the file size after gzip compression to approximate actual network transfer costs.
SharpZipLib ist eine .NET-Kompressionsbibliothek und ein Datei-Archivierer zum Erstellen, Extrahieren und Verwalten von Zip-, GZip-, Tar- und BZip2-Archiven. Sie bietet ein Framework zum Komprimieren und Dekomprimieren von Datenströmen und Dateien innerhalb des .NET-Ökosystems. Die Bibliothek zeichnet sich durch die Unterstützung von Archiven aus, die das Standardlimit von vier Gigabyte überschreiten. Sie enthält zudem Funktionen zum Entschlüsseln passwortgeschützter Dateien mittels branchenüblicher Verschlüsselung sowie zur Verwaltung von Tar-Archiven mit Unterstützung für lange Dateinamen. Das Projekt deckt ein breites Spektrum an Archivverwaltungsoperationen ab, einschließlich Integritätsprüfung, Suche nach Einträgen und Modifikation bestehender Archivinhalte. Die Kompressionsfunktionen umfassen mehrere Algorithmen, darunter BZip2, zlib und rohe Deflate-Formate.
Compresses and decompresses data using GZip, zlib, or raw deflate formats.