awesome-repositories.com
Blog
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetÀ proposNotre méthodologiePresseServeur MCP
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

15 dépôts

Awesome GitHub RepositoriesBinary Object Chunkers

Utilities for managing large binary blobs by automatically chunking data for storage.

Distinct from Object Storage Services: Distinct from Object Storage Services: focuses on the automatic chunking of binary data rather than general object storage management.

Explore 15 awesome GitHub repositories matching data & databases · Binary Object Chunkers. Refine with filters or upvote what's useful.

Awesome Binary Object Chunkers GitHub Repositories

Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
  • nats-io/nats-serverAvatar de nats-io

    nats-io/nats-server

    20,076Voir sur GitHub↗

    NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t

    Manages large binary objects by automatically chunking data for efficient storage and retrieval.

    Gocloudcloud-computingcloud-native
    Voir sur GitHub↗20,076
  • apple/foundationdbAvatar de apple

    apple/foundationdb

    16,446Voir sur GitHub↗

    FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

    Automatically breaks large binary objects into smaller chunks for compatible storage within the database.

    C++aciddistributed-databasefoundationdb
    Voir sur GitHub↗16,446
  • dexie/dexie.jsAvatar de dexie

    dexie/Dexie.js

    14,445Voir sur GitHub↗

    Dexie.js is a wrapper library for IndexedDB that provides a simplified interface for managing and querying structured data within the browser. It functions as a browser database manager used to maintain persistent application state and store binary blobs and records. The project serves as an offline-first data store that synchronizes browser data with remote servers to maintain consistency across sessions. It also acts as a reactive database store by monitoring data changes in real time to trigger automatic user interface updates, and functions as a client-side search engine for indexing and

    Allows saving large binary objects and files directly alongside structured database records.

    TypeScript
    Voir sur GitHub↗14,445
  • abpframework/abpAvatar de abpframework

    abpframework/abp

    14,313Voir sur GitHub↗

    ABP is an opinionated architectural framework for building enterprise software solutions using .NET and ASP.NET Core. It serves as a structural toolkit for implementing domain-driven design and microservices patterns, providing a modular enterprise architecture where functionality is organized into independent, pluggable modules. The platform is specifically designed to support multi-tenant SaaS architectures, isolating data and configurations for multiple independent customers within a single application instance. It provides enterprise boilerplate infrastructure and pre-configured templates

    Provides a standardized infrastructure layer for saving and retrieving large binary blobs and files.

    C#abpangulararchitecture
    Voir sur GitHub↗14,313
  • phacility/phabricatorAvatar de phacility

    phacility/phabricator

    12,305Voir sur GitHub↗

    Phabricator is a software development suite consisting of a collection of integrated web applications designed to manage the full software engineering lifecycle. It serves as a project management platform, issue tracking system, and code review tool. The suite provides capabilities for bug tracking and coordination, allowing teams to report and manage software defects and feature requests. It also facilitates peer code review workflows to manage proposed changes before they are merged into a repository. The platform includes tools for project task organization and general software developmen

    Provides a storage system for managing large binary objects and attachments via the local filesystem.

    PHP
    Voir sur GitHub↗12,305
  • mbdavid/litedbAvatar de mbdavid

    mbdavid/LiteDB

    9,410Voir sur GitHub↗

    LiteDB is a serverless, embedded NoSQL document database for .NET applications. It persists data into a single portable file, functioning as a BSON data store that resides within the application process rather than running as a separate server. The system is ACID compliant, utilizing write-ahead logging to ensure atomic, consistent, isolated, and durable transactions. It includes built-in encryption to provide secure local data storage and protect files on disk from unauthorized access. The project covers object-document mapping to convert classes into document formats, indexed search capabi

    Provides specialized storage for large binary blobs to prevent document fragmentation.

    C#
    Voir sur GitHub↗9,410
  • lancedb/lancedbAvatar de lancedb

    lancedb/lancedb

    9,031Voir sur GitHub↗

    LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

    Reads and writes large binary data using lazy-loading file objects to optimize memory usage.

    HTMLapproximate-nearest-neighbor-searchimage-searchnearest-neighbor-search
    Voir sur GitHub↗9,031
  • hazelcast/hazelcastAvatar de hazelcast

    hazelcast/hazelcast

    6,570Voir sur GitHub↗

    Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

    Enables storage of complex objects using configurable serialization methods.

    Javabig-datacachingdata-in-motion
    Voir sur GitHub↗6,570
  • mongo-express/mongo-expressAvatar de mongo-express

    mongo-express/mongo-express

    5,968Voir sur GitHub↗

    Mongo-express est une interface administrative basée sur le web pour MongoDB, fournissant un outil visuel pour gérer les bases de données et les collections sans utiliser d'outil en ligne de commande. Construit comme une application Node.js, il fonctionne comme un éditeur de documents et un gestionnaire de base de données pour interroger, importer et exporter des enregistrements. Le logiciel inclut une interface administrative compatible avec les fournisseurs d'identité OpenID Connect et OAuth2 pour un accès utilisateur sécurisé. Il dispose également d'un moniteur de performance pour visualiser les statistiques de santé de la base de données et gérer les index de collection afin d'améliorer les vitesses de récupération. Le système couvre de larges opérations de données, notamment l'édition de documents, l'interrogation et la gestion de grands actifs binaires via GridFS. Il fournit des contrôles administratifs pour la visibilité de la base de données, la configuration de connexion chiffrée et un mode lecture seule pour empêcher toute modification accidentelle des données.

    Manages oversized binary data by utilizing the GridFS system to store files as chunks within the database.

    JavaScript
    Voir sur GitHub↗5,968
  • python-attrs/attrsAvatar de python-attrs

    python-attrs/attrs

    5,799Voir sur GitHub↗

    attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it

    Ships a binary serialization feature for attrs class instances using a compact binary format.

    Python
    Voir sur GitHub↗5,799
  • rhaiscript/rhaiAvatar de rhaiscript

    rhaiscript/rhai

    5,453Voir sur GitHub↗

    Rhai est un moteur de script embarqué et un langage à typage dynamique conçu pour être intégré dans des applications Rust. Il fonctionne comme un compilateur d'arbre de syntaxe abstraite (AST) et une couche d'interopérabilité native, permettant aux développeurs de mapper des types et des fonctions Rust dans un environnement de script pour une communication bidirectionnelle. Le projet sert de framework pour créer des langages dédiés (DSL) personnalisables. Il permet de définir des opérateurs, une syntaxe et des environnements d'exécution restreints personnalisés, facilitant la création de langages spécialisés avec des jeux de fonctionnalités sur mesure. Le moteur couvre un large éventail de capacités, notamment le sandboxing avec limitation de ressources pour une exécution sécurisée, l'organisation modulaire du code et un traitement complet des données pour les types numériques, chaînes de caractères et binaires. Il fournit également des outils pour la manipulation d'AST, la sérialisation de l'état d'exécution et l'observabilité au runtime via l'inspection de la pile d'appels et des interfaces de débogage. Le moteur est conçu pour un déploiement multiplateforme sur tout CPU ou système d'exploitation supporté par le compilateur natif.

    Handles packed arrays of bytes as large binary objects for efficient raw data storage.

    Rustembeddedembedded-scripting-languageno-std
    Voir sur GitHub↗5,453
  • h2database/h2databaseAvatar de h2database

    h2database/h2database

    4,607Voir sur GitHub↗

    H2 is a JDBC-compliant relational database management system written in Java. It functions as an embeddable SQL database that can run directly within an application process to remove network latency, or as an in-memory database for high-performance volatile storage. It also includes a web-based console for executing SQL commands and administering schemas. The system is characterized by its flexible deployment modes, including a standalone server mode for remote TCP/IP access and a mixed mode for simultaneous local and remote connectivity. It features a dialect emulation layer and compatibilit

    Supports the storage and retrieval of large binary data objects using BLOB types.

    Javadatabasejavajdbc
    Voir sur GitHub↗4,607
  • stewartmcgown/udsAvatar de stewartmcgown

    stewartmcgown/uds

    4,374Voir sur GitHub↗

    uds est un utilitaire de stockage binaire-vers-texte et un gestionnaire de stockage de documents cloud. Il convertit les fichiers binaires en morceaux de texte encodés pour faciliter le stockage et la récupération au sein des plateformes de documents cloud, spécifiquement pour contourner les quotas de stockage dans des services comme Google Drive. Le système utilise l'encodage base64 et le fractionnement par morceaux pour diviser les gros fichiers binaires en segments plus petits qui tiennent dans les limites de caractères des documents cloud individuels. Il réassemble ces fichiers originaux par reconstruction séquentielle de blocs. Le projet couvre la gestion de fichiers cloud, y compris la capacité de lister, rechercher et supprimer des fichiers stockés. Il fournit également des capacités de traitement par lots pour télécharger et récupérer plusieurs fichiers en utilisant des modèles et des caractères génériques, ainsi que des utilitaires pour le formatage de la taille des fichiers lisible par l'homme.

    Saves binary data by splitting it into encoded documents to bypass cloud storage quotas.

    Pythongoogle-driveunlimited
    Voir sur GitHub↗4,374
  • alibaba/fastjson2Avatar de alibaba

    alibaba/fastjson2

    4,307Voir sur GitHub↗

    fastjson2 est une bibliothèque Java haute performance utilisée pour sérialiser et désérialiser des objets Java vers et depuis des chaînes JSON et des tableaux d'octets. Elle fonctionne comme un sérialiseur JSON binaire pour encoder des objets dans des formats binaires optimisés afin de réduire la taille des payloads et d'augmenter la vitesse de traitement. Le projet inclut un moteur de requête JSONPath pour extraire des données et des champs spécifiques de documents JSON en utilisant des expressions de chemin et des filtres standardisés. Il sert également de validateur de schéma JSON, fournissant des utilitaires pour générer des contrats de données et valider les entrées JSON par rapport à des schémas définis afin d'assurer la cohérence structurelle. La bibliothèque couvre un large éventail de capacités de manipulation de données, incluant la transformation de JSON en maps ou en types d'objets spécifiques, et la conversion de beans Java en formats binaires. Elle offre des mécanismes pour une logique de sérialisation personnalisée, le mapping de champs via des annotations, et la capacité de préserver les types d'objets lors de la conversion.

    Transforms Java objects into UTF-8 byte arrays for efficient caching and RPC communication.

    Javaandroidbig-datadeserialization
    Voir sur GitHub↗4,307
  • rusqlite/rusqliteAvatar de rusqlite

    rusqlite/rusqlite

    4,058Voir sur GitHub↗

    Rusqlite is an embedded database interface and relational database driver that provides a client library for interacting with SQLite. It functions as an SQL query wrapper, enabling the management of local file-based or in-memory databases through a safe interface. The library allows for the extension of native database capabilities by implementing custom scalar functions, collations, and virtual tables. It also supports the embedding of the database engine directly into the application binary to remove external library dependencies. The project covers a broad range of capabilities including

    Handles large binary data blobs through streaming I/O traits to minimize memory usage.

    Rustbindingsrustsqlite
    Voir sur GitHub↗4,058
  1. Home
  2. Data & Databases
  3. Object Storage Services
  4. Binary Object Chunkers

Explorer les sous-tags

  • Binary Object Storage1 sous-tagStorage of large binary blobs directly within a database system. **Distinct from Binary Object Chunkers:** Focuses on the storage of blobs rather than the chunking process