Awesome GitHub RepositoriesEmbedded Database Engines

ClickHouse is a high-performance, columnar analytical database designed for real-time query execution and large-scale data aggregation. It functions as a distributed data warehouse capable of processing petabytes of information, while also providing an embedded engine that integrates directly into applications for native query capabilities without external dependencies. The system is built to handle high-throughput ingestion and complex analytical workloads, delivering millisecond-level latency for interactive dashboards and operational monitoring. The platform distinguishes itself through ad

LibSQL is a high-performance, distributed SQL database engine that extends SQLite to support remote network access, edge computing, and real-time synchronization. It functions as an embedded database library that integrates directly into application processes while providing the infrastructure to maintain consistency across multiple geographic regions. The platform distinguishes itself by enabling database interaction over standard HTTP protocols, allowing applications to query remote data sources in serverless and edge environments without requiring local filesystem access. It includes nativ

WCDB is a cross-platform storage layer and embedded database engine that serves as a framework for SQLite. It functions as an object relational mapper, linking application classes to database tables to enable data operations via objects rather than raw queries. The project is distinguished by an integrated encryption layer for securing data at rest and a full-text search engine that uses language-specific tokenizers for text lookups. It also features transparent field compression to reduce storage footprints and a connection-pooling model to coordinate simultaneous read and write operations a

SQLite is a serverless relational database engine and C-based library that stores data in a single local disk file. It functions as an embedded SQL database, integrating directly into applications without the need for a separate server process. The engine includes specialized capabilities for full-text search indexing and spatial data querying using R-Tree structures for geographic or geometric coordinate ranges. The system provides broad support for SQL data manipulation, database recovery and repair, and change tracking for synchronizing modifications between databases. It also features a

LiteDB is a serverless NoSQL document store and embedded database engine for .NET applications. It persists unstructured documents and binary data into a single standalone disk file, allowing the database to run within the application process rather than as a separate server. The system supports strongly typed queries through Language Integrated Query and allows the execution of standard SQL commands for data retrieval and transformation. It provides native mapping of plain classes into document formats and secures stored information via symmetric-key file encryption. The engine includes cap

Steampipe is a cloud infrastructure query engine and API-to-SQL mapper that translates REST and GraphQL API responses into relational rows and columns. It allows for the retrieval and joining of real-time data from multiple cloud service providers using a relational database interface. The project functions as a PostgreSQL foreign data wrapper and an SQLite API extension, mapping external API endpoints to virtual tables. This enables the use of standard SQL to query live cloud services and aggregate data from different providers and service accounts into a single unified dataset. The system

TinyDB is a lightweight, document-oriented database and embedded NoSQL engine. It stores data as documents in local files, providing a persistence layer that operates without a separate server process. The system is an extensible document store featuring a middleware architecture. This allows for the customization of storage backends and the interception of data operations to transform how information is stored and retrieved. The database manages unstructured data using JSON-based serialization and supports pluggable storage backends for local file persistence.

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

MapDB ist eine eingebettete Datenbank-Engine und eine Bibliothek für disk-basierte Collections, die Java-Collections auf der Festplatte oder außerhalb des Heaps speichert. Sie fungiert als lokale Datenverarbeitungs-Engine, die darauf ausgelegt ist, Datensätze zu verarbeiten, die den verfügbaren physischen RAM überschreiten. Das Projekt nutzt Off-Heap-Datenspeicherung, um den Overhead der Garbage Collection zu eliminieren, und verwendet Disk-Overflow-Caching, um Speicher- und Festplattennutzung auszubalancieren. Es bietet spezialisierte Dienstprogramme zum Filtern und Analysieren großer Mengen lokaler Daten auf einer einzelnen Maschine. Das System stellt die Datenintegrität durch ACID-konforme Transaktionen und Multi-Version-Concurrency-Control sicher. Es unterstützt persistente Maps, Sets und Queues unter Verwendung von B-Tree-Indizierung und ein sequentielles Transaktionsprotokoll für die Dauerhaftigkeit. Das Systemverhalten und interne Engine-Operationen können über konfigurierbare Logging-Level und Ausgabeformate überwacht werden.

ObjectBox Java ist eine eingebettete NoSQL-Objektdatenbank für Java und Android, die Datenobjekte direkt ohne relationale Abbildung speichert. Sie fungiert als Storage-Engine im nativen Prozess und ermöglicht es Anwendungen, einfache Java- oder Kotlin-Klassen als Entitäten zu persistieren. Das Projekt zeichnet sich durch eine On-Device-Vektordatenbank-Fähigkeit aus, die HNSW-Indizes nutzt, um approximative Nearest-Neighbor-Suchen und semantische Ähnlichkeitsabfragen durchzuführen. Es enthält zudem einen lokal gehosteten, webbasierten Browser zur Visualisierung von Datenobjekten, Schemata und Abhängigkeitsdiagrammen. Die Datenbank deckt eine breite Palette an Datenverwaltungsfunktionen ab, einschließlich ACID-konformer atomarer Transaktionen, reaktiver Datenströme für Echtzeitbeobachtungen und plattformübergreifender Datensynchronisation. Die Speicheroberfläche unterstützt Object-Relation-Mapping mit Lazy-Loading, eigenschaftsbasierter Filterung und der Möglichkeit, den Datenspeicher zur Zwischenspeicherung oder für automatisierte Tests im Arbeitsspeicher zu initialisieren.

Ledisdb ist ein High-Performance-NoSQL-Datenbankserver, der in Go geschrieben wurde. Er fungiert als Key-Value-Store, der komplexe Datenstrukturen unterstützt und persistenten Festplattenspeicher nutzt, um Datenvolumina zu verwalten, die die Kapazität des Arbeitsspeichers übersteigen. Das System ist sowohl als eigenständiger Server als auch als einbettbare Engine-Bibliothek konzipiert, die direkt in Go-Binaries integriert wird. Es verfügt über einen skriptfähigen Datenspeicher, der serverseitige Lua-Skripte für atomare Operationen ausführt, und bietet eine HTTP-API für den Datenaustausch mittels JSON-, BSON- und msgpack-Serialisierung. Die Datenbank umfasst Funktionen für verteilte Datenreplikation zwischen primären und Replica-Knoten, um Hochverfügbarkeit sicherzustellen. Zudem implementiert sie Time-to-Live-Expiration für die automatische Datenentfernung, Benutzerauthentifizierung für Request-Sicherheit und Wartungstools zur Reparatur beschädigter Datendateien.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

Cozo is a logic-based database engine that functions as a relational data store, an embedded graph database, and a temporal vector database. It utilizes a Datalog-inspired query language to execute relational, recursive, and graph queries. The system distinguishes itself through specialized indexing for high-dimensional vector similarity searches and near-duplicate detection using locality sensitive hashing. It also provides built-in temporal versioning, allowing for historical state retrieval and time-travel queries to access data as it existed at specific points in time. Its broader capabi

Dev-Cpp is a comprehensive development suite that serves as a C++ integrated development environment, a cross-platform application builder, and a visual UI designer. It provides a toolchain for writing, compiling, and debugging native C++ applications on Windows, while offering a framework to create native binaries for desktop, mobile, and IoT devices from a single codebase. The project distinguishes itself by integrating an embedded SQL database engine and a REST API development platform directly into the workflow. It includes an AI-assisted coding tool that leverages large language models t

Couchbase Lite für iOS ist eine eingebettete NoSQL-Datenbank-Engine, die für native mobile und Desktop-Anwendungen konzipiert wurde. Sie fungiert als Bibliothek innerhalb des Anwendungsprozesses und bietet lokale Dokumentenspeicherung sowie strukturierte Abfragefunktionen, die es der Software ermöglichen, ohne aktive Internetverbindung voll funktionsfähig und reaktionsschnell zu bleiben. Die Bibliothek zeichnet sich durch eine Replikations-Engine aus, die lokale Datenbankänderungen mit einem zentralen Server synchronisiert, um einen konsistenten Zustand über mehrere Geräte hinweg aufrechtzuerhalten. Dieser Synchronisationsprozess nutzt ein Delta-basiertes Protokoll, um nur geänderte Dokumententeile zu übertragen, während eine automatisierte Konfliktlösungslogik divergierende Datenzustände verwaltet, die während des Offline-Betriebs auftreten. Das Speichersystem nutzt ein JSON-Dokumentenmodell und B-Tree-Indizierung zur Datenverwaltung, unterstützt durch Multi-Version-Concurrency-Control, um gleichzeitige Lese- und Schreibvorgänge zu ermöglichen. Diese Funktionen erleichtern die Offline-First-Entwicklung, indem sie sicherstellen, dass komplexe Informationen direkt auf dem Gerät zugänglich und performant bleiben.