Awesome GitHub RepositoriesEmbedded Database Engines

ClickHouse is a high-performance, columnar analytical database designed for real-time query execution and large-scale data aggregation. It functions as a distributed data warehouse capable of processing petabytes of information, while also providing an embedded engine that integrates directly into applications for native query capabilities without external dependencies. The system is built to handle high-throughput ingestion and complex analytical workloads, delivering millisecond-level latency for interactive dashboards and operational monitoring. The platform distinguishes itself through ad

LibSQL is a high-performance, distributed SQL database engine that extends SQLite to support remote network access, edge computing, and real-time synchronization. It functions as an embedded database library that integrates directly into application processes while providing the infrastructure to maintain consistency across multiple geographic regions. The platform distinguishes itself by enabling database interaction over standard HTTP protocols, allowing applications to query remote data sources in serverless and edge environments without requiring local filesystem access. It includes nativ

WCDB is a cross-platform storage layer and embedded database engine that serves as a framework for SQLite. It functions as an object relational mapper, linking application classes to database tables to enable data operations via objects rather than raw queries. The project is distinguished by an integrated encryption layer for securing data at rest and a full-text search engine that uses language-specific tokenizers for text lookups. It also features transparent field compression to reduce storage footprints and a connection-pooling model to coordinate simultaneous read and write operations a

SQLite est un moteur de base de données relationnelle sans serveur et une bibliothèque en C qui stocke les données dans un seul fichier disque local. Il fonctionne comme une base de données SQL embarquée, s'intégrant directement dans les applications sans nécessiter de processus serveur séparé. Le moteur inclut des capacités spécialisées pour l'indexation de recherche plein texte et l'interrogation de données spatiales utilisant des structures R-Tree pour les plages de coordonnées géographiques ou géométriques. Le système offre un large support pour la manipulation de données SQL, la récupération et la réparation de bases de données, ainsi que le suivi des modifications pour synchroniser les changements entre les bases. Il dispose également d'une interface en ligne de commande pour la gestion et la configuration de la base de données.

LiteDB is a serverless NoSQL document store and embedded database engine for .NET applications. It persists unstructured documents and binary data into a single standalone disk file, allowing the database to run within the application process rather than as a separate server. The system supports strongly typed queries through Language Integrated Query and allows the execution of standard SQL commands for data retrieval and transformation. It provides native mapping of plain classes into document formats and secures stored information via symmetric-key file encryption. The engine includes cap

Steampipe is a cloud infrastructure query engine and API-to-SQL mapper that translates REST and GraphQL API responses into relational rows and columns. It allows for the retrieval and joining of real-time data from multiple cloud service providers using a relational database interface. The project functions as a PostgreSQL foreign data wrapper and an SQLite API extension, mapping external API endpoints to virtual tables. This enables the use of standard SQL to query live cloud services and aggregate data from different providers and service accounts into a single unified dataset. The system

TinyDB is a lightweight, document-oriented database and embedded NoSQL engine. It stores data as documents in local files, providing a persistence layer that operates without a separate server process. The system is an extensible document store featuring a middleware architecture. This allows for the customization of storage backends and the interception of data operations to transform how information is stored and retrieved. The database manages unstructured data using JSON-based serialization and supports pluggable storage backends for local file persistence.

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

MapDB est un moteur de base de données embarqué et une bibliothèque de collections supportée par disque qui stocke les collections Java sur disque ou hors-tas (off-heap). Il fonctionne comme un moteur de traitement de données local conçu pour gérer des ensembles de données qui dépassent la RAM physique disponible. Le projet utilise le stockage de données hors-tas pour éliminer la surcharge du garbage collection et emploie la mise en cache par débordement sur disque pour équilibrer l'utilisation de la mémoire et du disque. Il fournit des utilitaires spécialisés pour filtrer et analyser de grands volumes de données locales sur une seule machine. Le système assure l'intégrité des données via des transactions conformes ACID et un contrôle de concurrence multi-version. Il prend en charge les maps, sets et files persistants utilisant l'indexation B-tree et un journal de transaction séquentiel pour la durabilité. Le comportement du système et les opérations internes du moteur peuvent être surveillés via des niveaux de journalisation configurables et des formats de sortie.

ObjectBox Java est une base de données d'objets NoSQL embarquée pour Java et Android qui stocke les objets de données directement sans mappage relationnel. Elle fonctionne comme un moteur de stockage en processus natif, permettant aux applications de persister des classes Java ou Kotlin simples en tant qu'entités. Le projet se distingue par une capacité de base de données vectorielle sur l'appareil, utilisant des index HNSW pour effectuer des recherches de voisins les plus proches approximatifs et des requêtes de similarité sémantique. Il inclut également un navigateur web hébergé localement pour visualiser les objets de données, les schémas et les diagrammes de dépendance. La base de données couvre un large éventail de capacités de gestion de données, incluant des transactions atomiques conformes ACID, des flux de données réactifs pour des observations en temps réel et la synchronisation de données multiplateforme. Sa surface de stockage prend en charge le mappage objet-relation avec chargement différé (lazy loading), le filtrage basé sur les propriétés et la capacité d'initialiser le magasin de données en mémoire pour la mise en cache ou les tests automatisés.

Ledisdb est un serveur de base de données NoSQL haute performance écrit en Go. Il fonctionne comme un magasin clé-valeur qui prend en charge des structures de données complexes et utilise un stockage disque persistant pour gérer des volumes de données qui dépassent la capacité de la mémoire système. Le système est conçu à la fois comme un serveur autonome et une bibliothèque de moteur embarquable qui s'intègre directement dans les binaires Go. Il dispose d'un magasin de données scriptable qui exécute des scripts Lua côté serveur pour des opérations atomiques et fournit une API HTTP pour l'échange de données utilisant la sérialisation JSON, BSON et msgpack. La base de données inclut des capacités pour la réplication de données distribuée entre les nœuds primaires et répliques pour assurer la haute disponibilité. Elle implémente également l'expiration TTL (time-to-live) pour la suppression automatique des données, l'authentification utilisateur pour la sécurité des requêtes et des outils de maintenance pour réparer les fichiers de données corrompus.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

Cozo is a logic-based database engine that functions as a relational data store, an embedded graph database, and a temporal vector database. It utilizes a Datalog-inspired query language to execute relational, recursive, and graph queries. The system distinguishes itself through specialized indexing for high-dimensional vector similarity searches and near-duplicate detection using locality sensitive hashing. It also provides built-in temporal versioning, allowing for historical state retrieval and time-travel queries to access data as it existed at specific points in time. Its broader capabi

Dev-Cpp is a comprehensive development suite that serves as a C++ integrated development environment, a cross-platform application builder, and a visual UI designer. It provides a toolchain for writing, compiling, and debugging native C++ applications on Windows, while offering a framework to create native binaries for desktop, mobile, and IoT devices from a single codebase. The project distinguishes itself by integrating an embedded SQL database engine and a REST API development platform directly into the workflow. It includes an AI-assisted coding tool that leverages large language models t

Couchbase Lite pour iOS est un moteur de base de données NoSQL embarqué conçu pour les applications mobiles et de bureau natives. Il fonctionne comme une bibliothèque au sein du processus d'application, fournissant un stockage de documents local et des capacités de requête structurées qui permettent au logiciel de rester pleinement fonctionnel et réactif sans connexion internet active. La bibliothèque se distingue par un moteur de réplication qui synchronise les changements de base de données locale avec un serveur central pour maintenir un état cohérent sur plusieurs appareils. Ce processus de synchronisation utilise un protocole basé sur les deltas pour transmettre uniquement les portions de documents modifiées, tandis qu'une logique de résolution de conflit automatisée gère les états de données divergents qui se produisent pendant le fonctionnement hors ligne. Le système de stockage utilise un modèle de document JSON et l'indexation B-tree pour gérer les données, soutenu par un contrôle de concurrence multi-version pour permettre des opérations de lecture et d'écriture simultanées. Ces fonctionnalités facilitent le développement hors ligne en garantissant que les informations complexes restent accessibles et performantes directement sur l'appareil.