25 Repos
Format-agnostic serialization based on file extensions.
Explore 25 awesome GitHub repositories matching data & databases · Object Serializers. Refine with filters or upvote what's useful.
Faceswap is a comprehensive framework for automated media manipulation and neural face synthesis. It provides a modular pipeline that manages the entire lifecycle of facial feature extraction, deep learning model training, and image conversion. By coordinating complex computer vision workflows, the system enables users to map facial identities between source and destination datasets while maintaining structural alignment and lighting consistency across video frames. The project distinguishes itself through a highly extensible plugin-based architecture that handles hardware-accelerated process
Maps Python objects to specific file formats by automatically selecting the appropriate serializer based on the target file extension.
localForage is a browser storage wrapper and key-value store that provides a unified JavaScript API for persisting data. It acts as an abstraction layer over IndexedDB, WebSQL, and localStorage, allowing web applications to save data offline. The library features a priority-based driver fallback system that automatically detects and selects the most capable storage engine available in the browser. It simplifies data management by providing an asynchronous interface for storing complex JavaScript objects and binary buffers without requiring manual serialization. The project covers broad capab
Automatically handles the serialization and deserialization of JavaScript objects and binary buffers for storage.
LibGDX is a Java-based framework designed for cross-platform game development, enabling the creation and deployment of 2D and 3D games across desktop, mobile, and web environments from a single codebase. It functions as a comprehensive library that abstracts hardware-accelerated graphics, audio, input, and file system access, providing a unified interface for developers to manage game logic and application lifecycles. The framework distinguishes itself through a high-performance architecture that prioritizes efficiency and native interoperability. It utilizes a batch-oriented graphics pipelin
Serializes complex object graphs into JSON using reflection with customizable field inclusion.
react-color is a React color picker library and customizable UI component kit. It provides a collection of interactive color selection components and visual pickers for web applications, allowing users to choose and preview colors. The library includes pre-made user interfaces that mimic the color selection experiences of professional design tools like Photoshop, Sketch, and Chrome. It also features transparency-aware color pickers that render checkerboard backgrounds to visually represent colors containing alpha channel transparency. The project provides granular building blocks, such as hu
Displays a checkerboard pattern behind color elements to make semi-transparent colors visible.
RestSharp is a .NET HTTP client library designed for interacting with RESTful web services. It provides a high-level request wrapper and a dedicated REST API client to manage endpoints, headers, and query parameters. The library includes a serialization mechanism that automatically converts objects to and from JSON or XML formats for API payloads. It also features a system for managing API credentials and security tokens to ensure authorized access to protected remote resources. The toolkit covers broad capabilities for external web service integration, including generic type-based deseriali
Implements a pluggable serialization system to convert C# objects into JSON or XML formats.
Jackson is a Java data binding framework and multi-format data serializer used to translate data structures into native language objects. It functions as a JSON data binding library and a streaming parser that reads and writes data as discrete tokens to process large datasets with minimal memory. The project distinguishes itself through a bytecode serialization accelerator that replaces standard reflection with generated bytecode to increase data binding speed. It employs a module-based extensibility model to support a wide range of formats beyond JSON, including XML, YAML, CSV, TOML, and bin
Implements format-agnostic serialization to convert objects into various data formats and back.
Storm is a distributed stream processing framework and fault-tolerant compute engine designed for executing real-time continuous computations across a cluster of machines. It functions as a stateful stream processor and cluster topology manager, enabling the deployment and monitoring of distributed data flow configurations. The system ensures exactly-once semantics by utilizing transactional state management to guarantee that every message in a data stream is processed exactly one time. It further operates as a distributed RPC system, allowing for the integration of non-native languages throu
Allows definition of custom serialization and deserialization logic using pluggable factories.
NLog is an open-source logging framework for .NET that functions as a structured logging library and log routing engine. It captures log events with named parameters as searchable data rather than plain text and directs these messages to various output destinations based on severity and source. The framework is designed as an extensible platform, supporting custom targets, layout renderers, and filters that can be loaded from external assemblies or defined in code. It features a dynamic configuration system that allows logging targets, rules, and layouts to be updated via XML or programmatic
NLog filters complex objects before serialization to control exactly what data appears in logs.
kafka-python is a pure-Python client library for Apache Kafka that implements the Kafka wire protocol directly, without any native bindings or JVM dependencies. It provides the core capabilities of a Kafka client: producing messages to topics, consuming records from topics, and administering cluster resources such as topics and partitions, all through a Pythonic API or command-line tools. The library distinguishes itself through its comprehensive support for advanced Kafka features. It includes an asynchronous producer with background batching for throughput, a consumer group rebalance protoc
Applies user-supplied serializer and deserializer functions to message keys and values before network I/O.
Lettuce is a Redis client library for Java that provides synchronous, asynchronous, and reactive programming models for interacting with Redis databases. It supports standalone, cluster, sentinel, pub/sub, and search operations through a single thread-safe connection model that handles command execution without blocking the calling thread. The library distinguishes itself through its reactive streams integration with Project Reactor, enabling non-blocking, backpressure-aware data processing with Mono and Flux types. It offers cluster slot routing that transparently handles MOVED and ASK redir
Transforms Java objects to Redis wire format through configurable serializers supporting UTF-8, JSON, and binary encoding.
JetCache ist ein Java-Caching-Framework, das eine einheitliche Schnittstelle für die Verwaltung von Anwendungsdaten bereitstellt. Es fungiert als Two-Level-Cache-Manager, der lokalen In-Memory-Speicher und entfernte verteilte Caches koordiniert, um Netzwerklatenz zu reduzieren und Abrufgeschwindigkeiten zu verbessern. Das Projekt zeichnet sich durch seine deklarative Caching-Bibliothek aus, die Annotationen verwendet, um die Speicherung, den Ablauf und die Invalidierung von Methodenergebnissen zu automatisieren. Es beinhaltet einen verteilten Cache-Synchronisierer, um die Konsistenz durch die Invalidierung lokaler Einträge über Cluster-Instanzen hinweg zu wahren, sowie ein verteiltes Sperr-Tool zur Koordinierung des Zugriffs auf gemeinsam genutzte Ressourcen. Das Framework deckt ein breites Spektrum an Leistungs- und Stabilitätsfunktionen ab, einschließlich nicht-blockierendem asynchronem Abruf, automatischem Hintergrund-Cache-Refreshing und Request-Collapsing, um Cache-Penetration zu verhindern. Es bietet zudem programmatisches Cache-Management, austauschbare Serialisierungsstrategien und Sicherheitsfunktionen wie Allow-List-Deserialisierungsfilterung.
Allows custom key conversion and value encoding implementations to decouple data storage from specific object formats.
GluonTS ist ein Framework für probabilistische Zeitreihenprognosen, das darauf ausgelegt ist, zukünftige Werte als Wahrscheinlichkeitsverteilungen mit Konfidenzintervallen vorherzusagen. Es unterstützt sowohl das traditionelle Modelltraining als auch Zero-Shot-Forecasting, bei dem vortrainierte Modelle Vorhersagen für neue Serien ohne zusätzliches Training generieren. Das Projekt zeichnet sich durch die Integration einer Vielzahl von Prognoseansätzen in einen einheitlichen Workflow aus. Dies umfasst Deep-Learning-Architekturen wie rekurrente neuronale Netze und kausale Konvolutionen sowie die Integration externer statistischer Modelle, der Prophet-Bibliothek und R-Paketen. Das Toolkit bietet eine umfassende Oberfläche für das Zeitreihen-Data-Engineering, die Datensatzskalierung, -aufteilung und die Transformation roher Zeitdaten in Tensoren abdeckt. Es enthält zudem eine Suite von Evaluierungstools zur Messung von Prognosegenauigkeit und Unsicherheitsintervallen sowie Hilfsmittel zur Datensatzpersistenz unter Verwendung von Formaten wie Arrow und Parquet. Das Framework unterstützt die Bereitstellung von Prognosemodellen innerhalb der Cloud-Infrastruktur.
Converts Pandas timestamps, periods, and offsets into serializable formats for persistent storage.
GluonTS ist eine probabilistische Zeitreihenbibliothek und ein Deep-Learning-Prognose-Framework. Es bietet ein Toolkit zum Aufbau, Training und zur Evaluierung neuronaler Netzwerkarchitekturen, die zukünftige Werte als Wahrscheinlichkeitsverteilungen vorhersagen, um Unsicherheit zu quantifizieren. Das Projekt zeichnet sich durch die Unterstützung von Zero-Shot-Forecasting und die Integration diverser Modellierungsansätze aus, einschließlich tiefer probabilistischer neuronaler Netze und Wrapper für externe statistische Bibliotheken wie Prophet und R forecast. Es implementiert spezialisierte architektonische Primitiven wie kausale Konvolutionen und invertierbare Residual-Netzwerke, um Informationslecks zu verhindern und latente Repräsentationen in gültige Wahrscheinlichkeitsverteilungen abzubilden. Das Framework deckt eine umfassende Data-Engineering-Oberfläche ab, einschließlich Zeitreihenskalierung, bijektiver Transformationen und hierarchischer Modellierung. Es nutzt Apache Arrow und Parquet für hochperformantes Datensatz-Streaming und Random-Access-Management. Zur Modellbewertung enthält es eine Evaluierungssuite zur Messung von Prognosegenauigkeit und probabilistischer Abdeckung unter Verwendung von Metriken wie Quantile Loss und Continuous Rank Probability Scores. Die Bibliothek unterstützt die Modellbereitstellung durch Integration mit Amazon SageMaker.
Provides specialized serialization for Pandas-specific temporal objects including timestamps, periods, and offsets.
go-restful ist ein Framework für den Bau von RESTful-Webdiensten in Go. Es fungiert als Toolkit für die Verwaltung von API-Endpunkten und bietet einen Request-Router, der eingehende HTTP-Anfragen mithilfe von Pfadparametern und benutzerdefinierten URL-Mustern auf Handler-Funktionen abbildet. Das Framework enthält eine Datenkonvertierungsschicht, die Go-Strukturen für Request- und Response-Bodys in JSON- oder XML-Formate transformiert. Es bietet zudem ein System zur Organisation zusammengehöriger Webdienste in Containern, um Endpunkt-Präfixe und geteilte Konfigurationen zu verwalten. Das Projekt deckt das Request-Lifecycle-Management durch Middleware-Filter für Validierung und Authentifizierung ab sowie die Verwaltung von Cross-Origin-Resource-Sharing-Headern. Zusätzliche Funktionen umfassen Payload-Kompression mittels gzip oder deflate sowie Panic-Recovery-Middleware zur Rückgabe standardisierter Fehlerantworten.
Supports interchangeable serialization strategies via registered readers and writers for different data formats.
fast_jsonapi ist ein Ruby-Objekt-Serializer, der darauf ausgelegt ist, komplexe Backend-Datenobjekte in strukturierte JSON-Repräsentationen zu transformieren. Er implementiert spezifisch das JSON:API-Format, um einen konsistenten Datenaustausch zwischen Servern und Clients zu gewährleisten. Die Bibliothek fungiert als Generator für zusammengesetzte Dokumente, der es ermöglicht, verwandte Ressourcen in eine einzige Antwort einzubetten, um Netzwerkanfragen zu minimieren. Sie verwendet eine klassenbasierte Schemadefinition, um interne Datenbankmodelle von der öffentlichen API-Repräsentation zu entkoppeln. Das Projekt enthält ein Command-Line-Tool zur Generierung von Serializer-Boilerplate durch Scannen von Datenbankschemata. Die Performance wird durch schlüsselbasiertes Ausgabe-Caching und Instrumentierungs-Tools verwaltet, die die Ausführungslatenz der Serialisierungs- und Encoding-Prozesse verfolgen.
Converts complex Ruby data objects into structured JSON representations with predefined attributes and relationships.
Fury ist ein sprachübergreifendes Framework für binäre Serialisierung, das für die Kodierung von Domänenobjekten und komplexen Graphen entwickelt wurde, um den Datenaustausch zwischen verschiedenen Sprachen zu erleichtern. Es enthält einen Compiler für eine Interface Definition Language (IDL), der Schemadefinitionen in idiomatische native Typen und Serialisierungs-Boilerplate über mehrere Sprachen hinweg übersetzt. Das Projekt zeichnet sich durch einen Zero-Copy-Binär-Reader aus, der den Zugriff auf spezifische Felder ermöglicht, ohne das gesamte Objekt zu deserialisieren, sowie durch einen Objekt-Graph-Serializer, der zirkuläre Referenzen und referenzielle Integrität bewahrt. Es enthält zudem einen Datenkonverter, der zeilenbasierte Binärdaten für analytische Workloads in spaltenbasierte Apache-Arrow-Formate transformiert. Das Framework deckt breite Funktionsbereiche ab, einschließlich metadatengesteuerter Schema-Evolution für Vorwärts- und Rückwärtskompatibilität, einen AOT-Kompilierungsprozess zur Eliminierung von Laufzeit-Reflektion und sichere Deserialisierung durch Whitelist-basierte Typvalidierung. Es bietet zudem Integration für hochperformante Remote Procedure Calls via gRPC.
Provides a serialization engine that preserves circular references and referential integrity within complex object hierarchies.
This is a PHP library providing standardized interfaces for caching data through the PSR-6 and PSR-16 specifications. It functions as a cache pool manager and distributed cache adapter, allowing applications to organize key-value pairs into logical repositories and namespaces. The project includes a dedicated cache stampede prevention tool that protects systems from CPU spikes during value expiration. This is achieved through locking mechanisms for concurrent requests and probabilistic early expiration. The library supports object serialization with optional encryption and compression to tra
Provides tools to translate complex object states into storable formats with optional encryption and compression for efficient caching.
petgraph ist eine Bibliothek für Graphendatenstrukturen für die Programmiersprache Rust. Sie bietet eine Sammlung von Tools zur Darstellung und Manipulation von Graphen und fungiert als Netzwerkanalyse-Tool sowie als umfassende Suite für Graphenalgorithmen. Die Bibliothek lässt sich mit Graphviz DOT integrieren, um Graphendaten zu importieren, zu exportieren und zu parsen, was die Visualisierung erleichtert. Sie zeichnet sich durch spezialisierte Netzwerkanalyse-Funktionen aus, wie etwa die Erkennung von Cliquen, Brückenkanten, Artikulationspunkten und Subgraphen-Isomorphismen. Ihr Funktionsumfang deckt eine breite Palette von Algorithmen ab, darunter Berechnungen kürzester Pfade, Netzwerkflussanalyse, Berechnung minimaler Spannbäume und topologische Knotensortierung. Die Bibliothek unterstützt zudem die synthetische Graphengenerierung für Simulationen und Tests sowie die Filterung von Graphenkomponenten, um virtuelle Datenansichten zu erstellen. Die Implementierung nutzt indexbasierte Knotenreferenzierung und Adjazenzlisten-Darstellungen zur Verwaltung der Graphenkonnektivität und zur Speicheroptimierung.
Converts graph structures to binary or text formats while preserving referential integrity.
FusionCache is a hybrid distributed caching library that coordinates local memory and distributed storage to balance access speed with global consistency. It functions as a resilient data access layer, utilizing a pluggable serialization framework to convert cached objects into various binary or text formats for compatibility across diverse storage environments. The system maintains cluster consistency through a distributed cache synchronizer that propagates invalidations and state updates across multiple nodes via a shared messaging backplane. It improves reliability by serving stale cache d
Provides a pluggable interface for interchangeable serialization strategies to meet diverse storage environment requirements.
This project is a proposal for a new immutable date and time API in JavaScript. It serves as a precision time-tracking library and a multi-calendar date engine designed to replace the legacy Date object. The system is distinguished by its support for multiple calendar systems beyond the ISO standard and its use of IANA-based time zone resolution. It provides a framework for managing daylight saving transitions and UTC offsets while maintaining nanosecond precision for global timestamps. The API covers broad functional areas including complex date and time arithmetic, locale-aware formatting,
Provides industry-standard serialization of temporal data objects into machine-readable strings for consistent storage.