15 repository-uri
Utilities for managing large binary blobs by automatically chunking data for storage.
Distinct from Object Storage Services: Distinct from Object Storage Services: focuses on the automatic chunking of binary data rather than general object storage management.
Explore 15 awesome GitHub repositories matching data & databases · Binary Object Chunkers. Refine with filters or upvote what's useful.
NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t
Manages large binary objects by automatically chunking data for efficient storage and retrieval.
FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides
Automatically breaks large binary objects into smaller chunks for compatible storage within the database.
Dexie.js is a wrapper library for IndexedDB that provides a simplified interface for managing and querying structured data within the browser. It functions as a browser database manager used to maintain persistent application state and store binary blobs and records. The project serves as an offline-first data store that synchronizes browser data with remote servers to maintain consistency across sessions. It also acts as a reactive database store by monitoring data changes in real time to trigger automatic user interface updates, and functions as a client-side search engine for indexing and
Allows saving large binary objects and files directly alongside structured database records.
ABP is an opinionated architectural framework for building enterprise software solutions using .NET and ASP.NET Core. It serves as a structural toolkit for implementing domain-driven design and microservices patterns, providing a modular enterprise architecture where functionality is organized into independent, pluggable modules. The platform is specifically designed to support multi-tenant SaaS architectures, isolating data and configurations for multiple independent customers within a single application instance. It provides enterprise boilerplate infrastructure and pre-configured templates
Provides a standardized infrastructure layer for saving and retrieving large binary blobs and files.
Phabricator is a software development suite consisting of a collection of integrated web applications designed to manage the full software engineering lifecycle. It serves as a project management platform, issue tracking system, and code review tool. The suite provides capabilities for bug tracking and coordination, allowing teams to report and manage software defects and feature requests. It also facilitates peer code review workflows to manage proposed changes before they are merged into a repository. The platform includes tools for project task organization and general software developmen
Provides a storage system for managing large binary objects and attachments via the local filesystem.
LiteDB is a serverless, embedded NoSQL document database for .NET applications. It persists data into a single portable file, functioning as a BSON data store that resides within the application process rather than running as a separate server. The system is ACID compliant, utilizing write-ahead logging to ensure atomic, consistent, isolated, and durable transactions. It includes built-in encryption to provide secure local data storage and protect files on disk from unauthorized access. The project covers object-document mapping to convert classes into document formats, indexed search capabi
Provides specialized storage for large binary blobs to prevent document fragmentation.
LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters
Reads and writes large binary data using lazy-loading file objects to optimize memory usage.
Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis
Enables storage of complex objects using configurable serialization methods.
Mongo-express este o interfață administrativă bazată pe web pentru MongoDB, oferind un instrument vizual pentru gestionarea bazelor de date și a colecțiilor fără utilizarea unui instrument de linie de comandă. Construit ca o aplicație Node.js, acesta funcționează ca un editor de documente și manager de baze de date pentru interogarea, importarea și exportarea înregistrărilor. Software-ul include o interfață administrativă compatibilă cu furnizorii de identitate OpenID Connect și OAuth2 pentru acces securizat al utilizatorilor. De asemenea, dispune de un monitor de performanță pentru vizualizarea statisticilor de sănătate a bazei de date și gestionarea indexurilor colecțiilor pentru a îmbunătăți viteza de regăsire. Sistemul acoperă operațiuni extinse de date, inclusiv editarea documentelor, interogarea și gestionarea activelor binare mari prin GridFS. Oferă controale administrative pentru vizibilitatea bazei de date, configurarea conexiunilor criptate și un mod read-only pentru a preveni modificarea accidentală a datelor.
Manages oversized binary data by utilizing the GridFS system to store files as chunks within the database.
attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it
Ships a binary serialization feature for attrs class instances using a compact binary format.
Rhai este un motor de scripting încorporat și un limbaj cu tipizare dinamică, conceput pentru integrarea în aplicații Rust. Acesta funcționează ca un compilator de arbore sintactic abstract (AST) și un strat de interop nativ, permițând dezvoltatorilor să mapeze tipuri și funcții Rust într-un mediu de scripting pentru comunicare bidirecțională. Proiectul servește drept framework pentru crearea de limbaje specifice domeniului (DSL) personalizabile. Permite definirea de operatori, sintaxă și medii de execuție restricționate, facilitând crearea de limbaje specializate cu seturi funcționale adaptate. Motorul acoperă o gamă largă de capabilități, inclusiv sandboxing cu resurse limitate pentru execuție securizată, organizare modulară a codului și procesare cuprinzătoare de date pentru tipuri numerice, string-uri și binare. Oferă, de asemenea, instrumente pentru manipularea AST, serializarea stării de execuție și observabilitate la runtime prin inspectarea stivei de apeluri și interfețe de debugging. Motorul este conceput pentru deployment cross-platform pe orice CPU sau sistem de operare suportat de compilatorul nativ.
Handles packed arrays of bytes as large binary objects for efficient raw data storage.
H2 este un sistem de gestionare a bazelor de date relaționale compatibil JDBC, scris în Java. Funcționează ca o bază de date SQL embeddable care poate rula direct în procesul unei aplicații pentru a elimina latența rețelei, sau ca o bază de date în memorie pentru stocare volatilă de înaltă performanță. Include, de asemenea, o consolă bazată pe web pentru executarea comenzilor SQL și administrarea schemelor. Sistemul se caracterizează prin moduri de implementare flexibile, inclusiv un mod server standalone pentru acces TCP/IP la distanță și un mod mixt pentru conectivitate locală și la distanță simultană. Dispune de un strat de emulare a dialectelor și moduri de compatibilitate care îi permit să imite comportamentul și sintaxa altor sisteme de baze de date. Motorul oferă un set larg de capabilități, acoperind tranzacții ACID cu controlul concurenței multi-versiune (MVCC), suport pentru date geospațiale și JSON, precum și funcții analitice avansate de tip window. Include instrumente pentru conservarea datelor prin backup-uri comprimate, restaurarea scripturilor SQL și gestionarea memoriei off-heap pentru a manipula seturi mari de date. Baza de date se integrează cu aplicațiile folosind drivere standard Java Database Connectivity și URL-uri de conexiune.
Supports the storage and retrieval of large binary data objects using BLOB types.
uds este un utilitar de stocare binar-la-text și un manager de stocare a documentelor în cloud. Convertește fișierele binare în fragmente de text encodate pentru a facilita stocarea și recuperarea în cadrul platformelor de documente cloud, în special pentru a ocoli cotele de stocare în servicii precum Google Drive. Sistemul utilizează encodarea base64 și împărțirea pe fragmente pentru a diviza fișierele binare mari în segmente mai mici care se încadrează în limitele de caractere ale documentelor cloud individuale. Reasamblează aceste fișiere originale prin reconstrucția secvențială a blocurilor. Proiectul acoperă gestionarea fișierelor în cloud, inclusiv capacitatea de a lista, căuta și șterge fișierele stocate. Oferă, de asemenea, capabilități de procesare în masă pentru încărcarea și descărcarea mai multor fișiere folosind modele și wildcard-uri, alături de utilitare pentru formatarea lizibilă a dimensiunii fișierelor.
Saves binary data by splitting it into encoded documents to bypass cloud storage quotas.
fastjson2 is a high-performance Java library used for serializing and deserializing Java objects to and from JSON strings and byte arrays. It functions as a binary JSON serializer for encoding objects into optimized binary formats to reduce payload size and increase processing speed. The project includes a JSONPath query engine for extracting specific data and fields from JSON documents using standardized path expressions and filters. It also serves as a JSON schema validator, providing utilities to generate data contracts and validate JSON input against defined schemas to ensure structural c
Transforms Java objects into UTF-8 byte arrays for efficient caching and RPC communication.
Rusqlite is an embedded database interface and relational database driver that provides a client library for interacting with SQLite. It functions as an SQL query wrapper, enabling the management of local file-based or in-memory databases through a safe interface. The library allows for the extension of native database capabilities by implementing custom scalar functions, collations, and virtual tables. It also supports the embedding of the database engine directly into the application binary to remove external library dependencies. The project covers a broad range of capabilities including
Handles large binary data blobs through streaming I/O traits to minimize memory usage.