Awesome GitHub RepositoriesPluggable Storage Backends

Mempalace is a local-first long-term memory store for large language models and AI agents. It provides a persistent storage system for verbatim conversation history and agent data, utilizing a local-first knowledge graph to track evolving entity relationships and timelines. The project implements a standardized memory protocol that allows external AI clients to read and write persistent memory via standard input and output. It features a hybrid semantic search engine that combines keyword boosting and reranking to find precise historical information across scoped categories. The system inclu

CodiMD is a real-time collaborative markdown editor and self-hosted knowledge base. It provides a shared workspace where multiple users can write and format notes using markdown syntax simultaneously. The platform extends basic editing by transforming markdown content into interactive mind maps for data visualization and structured visual slides for presentations. It functions as an OAuth compatible note server, integrating with external identity providers to manage user authentication and access control. The system supports self-hosting and cloud platform deployment, allowing users to maint

elasticsearch-dump is a command-line tool for importing and exporting data, mappings, and settings between Elasticsearch and OpenSearch clusters. It serves as a backup and restore system, a data transfer utility for cross-cluster migrations, and a bridge for streaming search index data to and from S3-compatible storage. The tool functions as a JSON index data transformer, allowing the use of custom JavaScript modules to modify or anonymize documents in flight during the migration process. It also enables the creation of search bodies using external JavaScript templates to customize the data b

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Alluxio is a virtual distributed file system and data orchestration layer that serves as a high-performance caching layer between cloud storage and compute clusters. It acts as a distributed data cache designed to accelerate data access for large-scale analytics and machine learning workloads. The system provides a unified interface that presents multiple heterogeneous storage backends as a single coherent namespace. This allows for the unification of diverse storage systems, enabling computation engines to access data from different providers without changing application code. The project c

gopass is a terminal-based password manager and GPG secret store used for generating, storing, and retrieving encrypted credentials. It functions as a collaborative secret manager that encrypts data using GPG or age and synchronizes it across devices and teams using Git. The system distinguishes itself by treating version control repositories as the primary storage backend, enabling secure secret sharing and version history for credentials. It utilizes a hierarchical directory structure to organize secrets on the filesystem and supports multi-store mounting to combine multiple independent rep

SpiceDB is a distributed permission store and relationship-based access control system. It provides a scalable database for storing and querying fine-grained authorization relationships, implementing a consistency model inspired by Google Zanzibar to manage access rights across large-scale applications. The system uses a dedicated schema language to define the rules and logic governing how relationships translate into permissions independently of application code. It functions as a pluggable authorization engine that persists relationship tuples in external relational databases such as Postgr

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Apache Zeppelin is a web-based notebook platform for interactive data analytics that supports executing code in over 20 languages within a single notebook. It provides a plugin-based interpreter architecture that allows the notebook to be extended with new languages and data sources, and includes a JDBC connector abstraction for connecting to any JDBC-compliant database. The platform also features session-isolated interpreter contexts, enabling separate interpreter instances per notebook or user with support for dependency injection and user impersonation. The platform distinguishes itself th

Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.

Certmagic este o bibliotecă Go pentru automatizarea emiterii și reînnoirii certificatelor TLS. Funcționează ca un provizionator automat HTTPS și client ACME care gestionează întregul ciclu de viață al certificatelor pentru a asigura conectivitatea securizată fără intervenție manuală. Biblioteca se distinge prin suportul pentru provizionarea TLS la cerere, care generează certificate dinamic în timpul handshake-ului TLS pe baza numelui serverului. De asemenea, oferă automatizare pentru certificate wildcard prin verificarea provocărilor DNS și se integrează cu API-ul ZeroSSL pentru achiziția certificatelor. Proiectul acoperă o gamă largă de capabilități, inclusiv rezolvarea provocărilor ACME, programarea reînnoirii automate și revocarea certificatelor. Gestionează persistența datelor prin backend-uri de stocare pluggable și implementează blocarea și sincronizarea distribuită pentru a coordona gestionarea certificatelor pe clusterele de servere. Funcționalitățile suplimentare includ OCSP stapling, caching în memorie și generarea de configurații TLS pentru servere personalizate.

dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.

Waterline este o bibliotecă de baze de date bazată pe adaptoare și un ORM (object relational mapper) pentru Node.js. Acesta servește ca un strat de persistență multi-bază de date care traduce apelurile standard de metode în interogări specifice pentru baze de date SQL și NoSQL. Biblioteca oferă o interfață unificată pentru gestionarea datelor în diferite stocuri, inclusiv MySQL, PostgreSQL, MongoDB și Microsoft SQL Server. Această arhitectură permite integrarea mai multor backend-uri de baze de date într-o singură aplicație și facilitează migrarea între furnizorii de baze de date prin schimbarea adaptoarelor, fără a modifica logica de business. Proiectul acoperă maparea relațională și de documente, oferind o sintaxă consistentă pentru stocarea și preluarea datelor. Utilizează maparea obiectelor bazată pe schemă pentru a face legătura între tabelele sau colecțiile bazei de date și obiectele JavaScript.

Acest proiect este site-ul oficial de documentație Kubernetes, servind drept resursă tehnică cuprinzătoare pentru gestionarea aplicațiilor containerizate. Funcționează ca un portal de documentație tehnică open-source care oferă ghiduri, tutoriale și materiale de referință pentru software-ul de sisteme distribuite. Site-ul este construit folosind un generator de site-uri statice cu o arhitectură de template-uri bazată pe componente pentru a menține tipare de design consistente. Dispune de un generator de documentație OpenAPI care parsează specificațiile tehnice pentru a construi și actualiza automat pagini de referință API structurate. Pentru a susține o audiență globală, utilizează rutarea conținutului conștientă de internaționalizare pentru a gestiona versiunile localizate ale manualelor. Fluxul de lucru de dezvoltare include un server cu hot-reloading pentru previzualizarea modificărilor site-ului și randarea țintită a limbajului pentru a accelera timpii de build. Proiectul acoperă o gamă largă de domenii tehnice, inclusiv orchestrarea clusterelor, configurarea rețelei și gestionarea resurselor.

ezbookkeeping este un manager de finanțe personale self-hosted, conceput pentru monitorizarea veniturilor și cheltuielilor. Acesta funcționează ca un instrument de contabilitate multi-valută care gestionează soldurile conturilor și averea totală printr-o aplicație privată. Sistemul se remarcă prin integrarea unui procesor de tranzacții bazat pe un model de limbaj, capabil să extragă date din imagini ale chitanțelor și să automatizeze introducerea datelor financiare. De asemenea, oferă un API financiar bazat pe REST și un client de linie de comandă corespondent, permițând automatizarea programatică a finanțelor și integrarea înregistrărilor cu scripturi externe. Platforma include un tablou de bord pentru analiza datelor financiare, destinat generării de grafice privind tendințele de cheltuieli și distribuția acestora. Acoperă gestionarea completă a datelor prin categorii și etichete personalizate, administrarea activelor în mai multe valute cu sincronizarea automată a cursurilor de schimb și controlul securizat al accesului cu autentificare multi-factor. Datele pot fi stocate în directoare locale sau în cloud, iar interfața utilizator suportă localizarea prin fișiere de traducere dedicate și configurații de formatare regională.

Incus is a unified orchestration platform for managing system containers, OCI application containers, and virtual machines through a single control plane. It brings together cluster infrastructure management, secure multi-tenancy, software-defined networking, and pluggable storage backend orchestration into one cohesive system exposed via a full REST API and command-line interface. What distinguishes Incus is its ability to run multiple instance types side by side—full Linux system containers, OCI application containers, and QEMU virtual machines—all managed with consistent tooling. Networkin

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

myDrive este un server de stocare în cloud self-hosted și un manager de fișiere bazat pe web. Acesta funcționează ca un sistem de stocare a fișierelor criptate care permite utilizatorilor să găzduiască și să gestioneze documente și media personale pe propriul hardware. Sistemul acționează ca un gateway de stocare multi-backend, capabil să ruteze datele fișierelor către diverse locații, inclusiv discuri locale sau bucket-uri de stocare în cloud la distanță. Utilizează o bază de date de documente pentru a gestiona metadatele fișierelor, structurile de foldere și organizarea utilizatorilor. Platforma oferă capabilități pentru încărcarea și descărcarea fișierelor, organizarea conținutului printr-un sistem de coș de gunoi și partajarea fișierelor private prin link-uri securizate. Include o interfață web pentru gestionarea media la distanță cu miniaturi și previzualizări media încorporate. Accesul este securizat prin autentificare bazată pe e-mail și criptarea datelor conform standardelor din industrie.

Hawk is a secure local storage library and persistence API for Android. It provides a framework for saving and retrieving primitives, objects, and collections using a key-value storage system. The library features an encrypted storage wrapper that secures data through a pluggable crypto provider, including a fallback mechanism to non-encrypted mode. Its architecture allows for custom storage backend implementations and interface-based component injection to replace default serialization, parsing, and conversion processes. The system supports type-preserving serialization and includes utiliti