20 Repos
Customizing data serialization, compression, and encryption.
Distinct from Data Transformation: Distinct from Data Transformation: focuses on serialization and security-related payload handling rather than array-based restructuring.
Explore 20 awesome GitHub repositories matching data & databases · Payload Serialization. Refine with filters or upvote what's useful.
Axios is a promise-based HTTP client used to make asynchronous network requests in both browser and Node.js environments. It functions as a multi-environment network adapter that abstracts the transport layer to ensure consistent behavior across different runtimes. The project distinguishes itself through a request lifecycle management system that allows for the cancellation of active requests, the setting of timeouts, and the monitoring of upload and download transfer progress. It includes a mechanism for intercepting network traffic, enabling the transformation of outgoing requests and inco
Automatically serializes JavaScript objects into JSON or multipart form data for transmission.
Mastra is an orchestration framework designed for building, deploying, and managing autonomous AI agents and multi-agent systems. It provides a comprehensive suite of primitives for creating resilient AI applications, including durable workflow orchestration, event-driven agent loops, and semantic memory management. By integrating these core components, the platform enables developers to build complex, multi-step processes that can reason about goals and execute tasks without manual intervention. The framework distinguishes itself through its focus on observability and secure, isolated execut
Truncates large inputs, outputs, or attributes before export to optimize storage and handle complex data structures efficiently.
Temporal is a distributed workflow orchestration engine designed to manage fault-tolerant, stateful, and long-running background processes. It functions as a platform for coordinating complex cross-service operations, ensuring consistency and reliability in distributed environments by decoupling workflow orchestration from task execution. The platform distinguishes itself through a deterministic, event-sourced execution model that reconstructs workflow state by re-executing code from an immutable event log. This approach isolates non-deterministic side effects into managed activities, allowin
Customizes how data is serialized, compressed, or encrypted before cluster transmission.
Dio is a cross-platform HTTP client for Dart designed to manage network requests and data communication across mobile and desktop applications. It provides a comprehensive framework for executing standard web operations while handling complex tasks such as request lifecycles, connection security, and global configuration. The library distinguishes itself through an extensible architecture that allows developers to hook into the request and response pipeline. By utilizing interceptors and custom network adapters, users can modify traffic, perform authentication, and swap underlying networking
Handles asynchronous parsing and serialization of data payloads between JSON and binary formats.
Empire is a post-exploitation framework and command and control server designed to manage remote access agents. It provides a centralized system for coordinating these agents and executing specialized scripts across target systems. The project functions as a security evasion tool by adapting network communication patterns to bypass firewalls and monitoring tools. It utilizes a multi-language agent runtime and a modular plugin architecture to execute payloads across different operating systems. The framework covers a broad range of operational capabilities, including remote agent orchestratio
Encodes and encrypts command and result payloads to evade network inspection tools.
ArduinoJson is a C++ library for parsing and manipulating JSON data and MessagePack binary streams on microcontrollers with limited memory and processing power. It provides the core primitives necessary for embedded data serialization and parsing, enabling devices to exchange structured data over serial or network interfaces. The library is distinguished by its focus on microcontroller memory management, employing strategies such as pool-based allocation, string deduplication, and non-owning string views to minimize RAM usage. It further optimizes for constrained environments by allowing cons
Calculates the exact byte length of a JSON string before performing the actual serialization.
Moleculer is a Node.js microservices framework designed for building distributed systems. It functions as a distributed service broker, task orchestrator, and service mesh framework, enabling a decentralized architecture with built-in service discovery and load balancing. The project differentiates itself through a pluggable transport layer supporting protocols such as NATS, Redis, TCP, and Kafka, as well as a dedicated microservices API gateway that maps external HTTP and WebSocket requests to internal service actions. It includes built-in fault tolerance mechanisms, including circuit breake
Handles the conversion of data objects into optimized formats for efficient transmission across the network.
CloudEvents is an open specification for describing event data in a common format across cloud platforms and services. It defines a standard structure and set of metadata attributes for events, enabling interoperability across different systems so producers and consumers can exchange events without custom translation. The specification provides a protocol-agnostic serialization framework that maps CloudEvents attributes and payloads to multiple serialization formats including JSON, Avro, and Protobuf, and defines transport bindings for mapping events onto protocols like HTTP, AMQP, Kafka, MQTT
Converts event data into JSON values or encoded strings based on declared content type.
Telescope ist ein Debugging-Dashboard und Entwicklungstool für Laravel-Anwendungen, das eine Weboberfläche zur Überwachung von Anfragen, Exceptions, Datenbankabfragen und Logs bereitstellt. Es fungiert als PHP-Anwendungsmonitor und Diagnoseassistent, der den Ausführungslebenszyklus des Systems nachverfolgt, um Fehler zu identifizieren und zu beheben. Das Tool zeichnet sich durch spezialisierte Profiler für SQL-Abfragen und Redis-Befehle sowie ein In-Browser-Vorschau-System für ausgehende E-Mails aus. Es enthält zudem ein dediziertes Auditing-System für Konsolenbefehle und Autorisierungs-Gate-Prüfungen, um Berechtigungslogik zu verifizieren. Die Plattform deckt eine breite Palette an Observability-Bereichen ab, einschließlich der Nachverfolgung von Hintergrund-Jobs und Prozessen, der Inspektion von Cache-Operationen und der Überwachung von Anwendungsereignissen. Sie analysiert den Request-Lebenszyklus anhand von Header- und Sitzungsdaten, zeichnet vollständige Stack-Traces für Exceptions auf und überwacht das View-Rendering sowie die Modell-Hydratisierung. Der Zugriff auf die Überwachungsoberfläche wird über ein zentrales Autorisierungs-Gate verwaltet.
Converts complex application objects and events into storable formats for dashboard inspection.
Wretch is a chainable HTTP client library and Fetch API wrapper designed to simplify network request configuration, response parsing, and error handling. It functions as a network request manager and middleware framework for managing the end-to-end lifecycle of HTTP calls. The project is distinguished by a fluent interface for request configuration and a modular extension system. It utilizes a programmable response resolver to automate parsing and a plugin-based architecture to add new capabilities to request and response objects. The library covers a broad range of operational capabilities,
Automatically detects input types to choose between JSON, multipart, or URL-encoded formats for the request body.
go-restful ist ein Framework für den Bau von RESTful-Webdiensten in Go. Es fungiert als Toolkit für die Verwaltung von API-Endpunkten und bietet einen Request-Router, der eingehende HTTP-Anfragen mithilfe von Pfadparametern und benutzerdefinierten URL-Mustern auf Handler-Funktionen abbildet. Das Framework enthält eine Datenkonvertierungsschicht, die Go-Strukturen für Request- und Response-Bodys in JSON- oder XML-Formate transformiert. Es bietet zudem ein System zur Organisation zusammengehöriger Webdienste in Containern, um Endpunkt-Präfixe und geteilte Konfigurationen zu verwalten. Das Projekt deckt das Request-Lifecycle-Management durch Middleware-Filter für Validierung und Authentifizierung ab sowie die Verwaltung von Cross-Origin-Resource-Sharing-Headern. Zusätzliche Funktionen umfassen Payload-Kompression mittels gzip oder deflate sowie Panic-Recovery-Middleware zur Rückgabe standardisierter Fehlerantworten.
Provides bidirectional serialization of request and response bodies into JSON or XML formats.
nghttp2 ist eine Suite von Low-Level-C-Bibliotheken und Tools für die Implementierung des HTTP/2-Protokolls. Sie bietet eine speichereffiziente Implementierung der Kernlogik des Protokolls, einschließlich Framing, Stream-Multiplexing und Flusskontrolle. Das Projekt enthält eine dedizierte Bibliothek für HPACK-Header-Kompression und -Dekompression zur Reduzierung der Netzwerkbandbreite. Zudem bietet es ein Toolset zur Analyse des Netzwerkverkehrs und zum Benchmarking der Serverleistung, einschließlich Messungen von Durchsatz und Latenz. Die breiteren Funktionen decken die Protokollimplementierung und das Traffic-Management ab, einschließlich ALPN-Verbindungsaushandlung, Anforderungspriorisierung und Validierung von Header-Komponenten. Die Bibliothek unterstützt benutzerdefinierte Protokollerweiterungen über ein Callback-basiertes Ereignissystem und enthält Dienstprogramme für Speicherverwaltung und Fehlercode-Übersetzung. Das Projekt umfasst Build-Unterstützung und Konfigurationsskripte für das Cross-Compiling von Binärdateien für die Android-Plattform.
nghttp2 defines a custom callback to format extension frame payloads into the binary wire format for transmission.
Dieses Projekt ist ein Multi-Protokoll-API-Simulations- und Mocking-System, das dazu entwickelt wurde, externe Abhängigkeiten während der Entwicklung und beim Testen zu ersetzen. Es bietet einen API-Mocking-Server, einen Netzwerk-Traffic-Proxy sowie spezialisierte Simulatoren für Sprachmodell-Dienste und Identitätsanbieter. Das System zeichnet sich durch tiefgreifende KI-Simulationsfunktionen aus, einschließlich der Emulation von Sprachmodell-Anbietern und Model-Context-Protocol-Servern mittels JSON-RPC 2.0. Es unterstützt Multi-Turn-Konversationslogik, State-Tracking für KI-Chat-APIs und die Visualisierung der Agentenausführung durch Call-Graphs und Token-Usage-Tracking. Zu den breiten Funktionsbereichen gehören API-Contract-Testing gegen OpenAPI-Spezifikationen, Resilienz- und Chaos-Engineering durch Netzwerk-Fehlerinjektion sowie Live-Traffic-Interception zur Echtzeit-Modifikation von Requests. Das Projekt verwaltet zudem die Identitätsanbieter-Simulation für OIDC-, OAuth2-, SAML 2.0- und SCIM 2.0-Standards. Der Server kann als Docker-Container, über Kubernetes-Helm-Charts oder als eigenständige native Binärdatei bereitgestellt werden.
Mocks responses from language model providers by converting agnostic completions into specific vendor wire formats.
protobuf-net is a .NET library that serializes and deserializes objects using the Protocol Buffers binary format for efficient data exchange. It provides a code-first gRPC service framework, allowing developers to define service contracts directly from existing C# classes without writing separate .proto files. The library is nullable-aware, encoding null values in collections and nullable scalars using wrapper messages to distinguish null from default zero values, and includes an ahead-of-time serializer generator that compiles serializer code at build time to eliminate runtime code generati
Computes serialized payload size before writing to enable forward-only serialization and length-prefix headers.
orpc is a contract-first API development framework for TypeScript that starts with a shared contract definition and generates type-safe clients and servers from that single source of truth. It guarantees end-to-end type safety, meaning inputs, outputs, errors, and streaming data are all checked at compile time across the client–server boundary. What distinguishes orpc from typical RPC frameworks is its ability to export contracts as OpenAPI specifications, to optimize server-side rendering by calling API handlers directly inside the server process, and to support real‑time bidirectional commu
Serializes JSON payloads for RPC with support for native data types and type safety.
Dieses Projekt ist ein PHP-Kompatibilitäts-Polyfill, das entwickelt wurde, um Kernfunktionen und Konstanten von PHP 7.2 auf ältere Versionen der Sprache zurückzuportieren. Es dient als Erweiterung der PHP-Standardbibliothek und als Version-Backport und bietet eine Kompatibilitätsschicht, die Lücken im PHP-Kern füllt, um ein konsistentes Verhalten über verschiedene Umgebungen hinweg sicherzustellen. Die Bibliothek ermöglicht die Portabilität von Code über Versionen hinweg durch die Implementierung fehlender Standardbibliotheksfunktionen, wodurch neuere Sprachfeatures auf älteren PHP-Umgebungen ausgeführt werden können. Dies stellt sicher, dass Anwendungen eine konsistente Schnittstelle beibehalten und mit aktuellen Bibliotheken kompatibel bleiben, selbst wenn sie auf veralteten Versionen ausgeführt werden.
Provides payload serialization capabilities for consistent message transport across PHP versions.
Fury ist ein sprachübergreifendes Framework für binäre Serialisierung, das für die Kodierung von Domänenobjekten und komplexen Graphen entwickelt wurde, um den Datenaustausch zwischen verschiedenen Sprachen zu erleichtern. Es enthält einen Compiler für eine Interface Definition Language (IDL), der Schemadefinitionen in idiomatische native Typen und Serialisierungs-Boilerplate über mehrere Sprachen hinweg übersetzt. Das Projekt zeichnet sich durch einen Zero-Copy-Binär-Reader aus, der den Zugriff auf spezifische Felder ermöglicht, ohne das gesamte Objekt zu deserialisieren, sowie durch einen Objekt-Graph-Serializer, der zirkuläre Referenzen und referenzielle Integrität bewahrt. Es enthält zudem einen Datenkonverter, der zeilenbasierte Binärdaten für analytische Workloads in spaltenbasierte Apache-Arrow-Formate transformiert. Das Framework deckt breite Funktionsbereiche ab, einschließlich metadatengesteuerter Schema-Evolution für Vorwärts- und Rückwärtskompatibilität, einen AOT-Kompilierungsprozess zur Eliminierung von Laufzeit-Reflektion und sichere Deserialisierung durch Whitelist-basierte Typvalidierung. Es bietet zudem Integration für hochperformante Remote Procedure Calls via gRPC.
Allows omitting unnecessary fields during serialization to optimize the size of the binary payload.
r2 ist eine JavaScript-HTTP-Client-Bibliothek und eine asynchrone Request-Bibliothek, die für die Ausführung von Netzwerkaufrufen verwendet wird. Sie bietet eine laufzeitunabhängige Netzwerkschicht, die zugrunde liegende HTTP-Implementierungen abstrahiert, um ein konsistentes Verhalten über verschiedene JavaScript-Ausführungsumgebungen hinweg sicherzustellen. Die Bibliothek fungiert als JSON-API-Client, der Antwort-Bodies automatisch parst und ausgehende Payloads formatiert. Sie nutzt ein Promise-basiertes Interface, um den Lebenszyklus von HTTP-Anfragen und -Antworten zu verwalten. Das Projekt deckt REST-API-Integration und HTTP-Header-Management ab, wodurch Benutzer benutzerdefinierte Key-Value-Paare an ausgehende Anfragen anhängen können. Es enthält eine Middleware-artige Request-Pipeline und Content-Negotiation basierend auf HTTP-Headern, um die Datenserialisierung zu handhaben.
Handles the conversion of JavaScript objects into formatted strings for network transmission.
Parallel is a Ruby library and multi-process execution framework designed to accelerate CPU-intensive operations. It functions as a parallel job orchestrator and concurrent task runner that enables the execution of code across multiple processes or threads. The project distinguishes itself through secure inter-process communication, utilizing signed data serialization to prevent the injection of forged payloads between parent and child processes. It further differentiates its worker management by assigning unique identifiers to individual processes to prevent collisions when accessing shared
Protects inter-process communication by signing serialized data to prevent the injection of forged payloads.
Dieses Projekt ist ein nativer PostgreSQL-Datenbanktreiber für die Programmiersprache Rust. Er fungiert als typsicherer Datenbank-Mapper und Connector, der sowohl synchrone als auch asynchrone Schnittstellen für die Ausführung von Abfragen gegen ein PostgreSQL-Backend bereitstellt. Die Library implementiert ein typsicheres Mapping-System, um PostgreSQL-Datentypen in Rust-Typen zu konvertieren und so Konsistenz während der Datenübertragung sicherzustellen. Sie dient zudem als verschlüsselter Datenbank-Connector und unterstützt sichere Kommunikationsprotokolle, um Daten während der Übertragung zwischen Anwendung und Datenbank zu schützen. Der Treiber deckt grundlegende Datenbankfunktionen ab, einschließlich der Ausführung von Datenoperationen und der Verwaltung sicherer Datenbankverbindungen.
Converts structured data into the PostgreSQL binary wire format for high-performance network transmission.