Awesome GitHub RepositoriesPluggable Storage Backends

Mempalace is a local-first long-term memory store for large language models and AI agents. It provides a persistent storage system for verbatim conversation history and agent data, utilizing a local-first knowledge graph to track evolving entity relationships and timelines. The project implements a standardized memory protocol that allows external AI clients to read and write persistent memory via standard input and output. It features a hybrid semantic search engine that combines keyword boosting and reranking to find precise historical information across scoped categories. The system inclu

CodiMD is a real-time collaborative markdown editor and self-hosted knowledge base. It provides a shared workspace where multiple users can write and format notes using markdown syntax simultaneously. The platform extends basic editing by transforming markdown content into interactive mind maps for data visualization and structured visual slides for presentations. It functions as an OAuth compatible note server, integrating with external identity providers to manage user authentication and access control. The system supports self-hosting and cloud platform deployment, allowing users to maint

elasticsearch-dump is a command-line tool for importing and exporting data, mappings, and settings between Elasticsearch and OpenSearch clusters. It serves as a backup and restore system, a data transfer utility for cross-cluster migrations, and a bridge for streaming search index data to and from S3-compatible storage. The tool functions as a JSON index data transformer, allowing the use of custom JavaScript modules to modify or anonymize documents in flight during the migration process. It also enables the creation of search bodies using external JavaScript templates to customize the data b

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Alluxio is a virtual distributed file system and data orchestration layer that serves as a high-performance caching layer between cloud storage and compute clusters. It acts as a distributed data cache designed to accelerate data access for large-scale analytics and machine learning workloads. The system provides a unified interface that presents multiple heterogeneous storage backends as a single coherent namespace. This allows for the unification of diverse storage systems, enabling computation engines to access data from different providers without changing application code. The project c

gopass is a terminal-based password manager and GPG secret store used for generating, storing, and retrieving encrypted credentials. It functions as a collaborative secret manager that encrypts data using GPG or age and synchronizes it across devices and teams using Git. The system distinguishes itself by treating version control repositories as the primary storage backend, enabling secure secret sharing and version history for credentials. It utilizes a hierarchical directory structure to organize secrets on the filesystem and supports multi-store mounting to combine multiple independent rep

SpiceDB is a distributed permission store and relationship-based access control system. It provides a scalable database for storing and querying fine-grained authorization relationships, implementing a consistency model inspired by Google Zanzibar to manage access rights across large-scale applications. The system uses a dedicated schema language to define the rules and logic governing how relationships translate into permissions independently of application code. It functions as a pluggable authorization engine that persists relationship tuples in external relational databases such as Postgr

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Apache Zeppelin is a web-based notebook platform for interactive data analytics that supports executing code in over 20 languages within a single notebook. It provides a plugin-based interpreter architecture that allows the notebook to be extended with new languages and data sources, and includes a JDBC connector abstraction for connecting to any JDBC-compliant database. The platform also features session-isolated interpreter contexts, enabling separate interpreter instances per notebook or user with support for dependency injection and user impersonation. The platform distinguishes itself th

Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.

Certmagic هي مكتبة Go لأتمتة إصدار وتجديد شهادات TLS. تعمل كموفر HTTPS تلقائي وعميل ACME يتعامل مع دورة حياة الشهادات الكاملة لضمان اتصال آمن دون تدخل يدوي. تتميز المكتبة بدعمها لتوفير TLS عند الطلب، والذي يولد الشهادات ديناميكيًا أثناء مصافحة TLS بناءً على اسم الخادم. كما توفر أتمتة لشهادات البدل (Wildcard) من خلال التحقق من تحدي DNS وتتكامل مع واجهة برمجة تطبيقات ZeroSSL للحصول على الشهادات. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك حل تحدي ACME، وجدولة التجديد المؤتمت، وإبطال الشهادات. يدير استمرارية البيانات من خلال خلفيات تخزين قابلة للتوصيل وينفذ القفل والمزامنة الموزعة لتنسيق إدارة الشهادات عبر عناقيد الخوادم. تشمل الوظائف الإضافية تدبيس OCSP، والتخزين المؤقت في الذاكرة، وتوليد تكوينات TLS للخوادم المخصصة.

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

Waterline هي مكتبة قواعد بيانات تعتمد على المحولات (adapters) ورسام كائنات علائقي (ORM) لـ Node.js. تعمل كطبقة استمرارية متعددة قواعد البيانات تترجم استدعاءات الأساليب القياسية إلى استعلامات محددة لكل من قواعد بيانات SQL و NoSQL. توفر المكتبة واجهة موحدة لإدارة البيانات عبر مخازن مختلفة، بما في ذلك MySQL و PostgreSQL و MongoDB و Microsoft SQL Server. تسمح هذه البنية بدمج محركات قواعد بيانات متعددة داخل تطبيق واحد وتسهل عملية ترحيل بائع قاعدة البيانات عن طريق تغيير المحولات دون تغيير منطق العمل. يغطي المشروع الربط العلائقي والمستندي، ويوفر صيغة متسقة لتخزين واسترجاع البيانات. ويستخدم ربط الكائنات القائم على المخطط (schema-driven) لسد الفجوة بين جداول أو مجموعات قاعدة البيانات وكائنات JavaScript.

هذا المشروع هو موقع التوثيق الرسمي لـ Kubernetes، ويعمل كمورد تقني شامل لإدارة التطبيقات المعبأة. يعمل كبوابة توثيق تقنية مفتوحة المصدر توفر أدلة، ودروسًا تعليمية، ومواد مرجعية لبرمجيات الأنظمة الموزعة. تم بناء الموقع باستخدام مولد مواقع ثابت مع بنية قالب قائمة على المكونات للحفاظ على أنماط تصميم متسقة. ويتميز بمولد توثيق OpenAPI الذي يحلل المواصفات التقنية لبناء وتحديث صفحات مرجع واجهة برمجة التطبيقات المهيكلة تلقائيًا. لدعم جمهور عالمي، يستخدم توجيه المحتوى الواعي بالتدويل لإدارة الإصدارات المترجمة من الأدلة. يتضمن سير عمل التطوير خادم إعادة تحميل ساخن لمعاينة تغييرات الموقع وعرض اللغة المستهدف لتسريع أوقات البناء. يغطي المشروع مجموعة واسعة من المجالات التقنية، بما في ذلك تنسيق العناقيد، وتهيئة الشبكة، وإدارة الموارد.

ezbookkeeping هو مدير تمويل شخصي ذاتي الاستضافة مصمم لتتبع الدخل والمصروفات. يعمل كأداة مسك دفاتر متعددة العملات تدير أرصدة الحسابات وإجمالي الثروة من خلال تطبيق خاص. يتميز النظام بدمج معالج معاملات يعتمد على نموذج لغوي لاستخراج البيانات من صور الإيصالات وأتمتة الإدخالات المالية. كما يوفر واجهة برمجة تطبيقات (REST API) مالية وعميل سطر أوامر مطابق، مما يتيح أتمتة العمليات المالية ودمج السجلات مع سكربتات خارجية. تتضمن المنصة لوحة تحكم لتحليل البيانات المالية لإنشاء مخططات اتجاهات الإنفاق والرسوم البيانية النسبية. ويغطي النظام إدارة شاملة للبيانات من خلال فئات وعلامات مخصصة، وإدارة أصول متعددة العملات مع مزامنة تلقائية لأسعار الصرف، وتحكم آمن في الوصول يتميز بالمصادقة متعددة العوامل. يمكن حفظ البيانات في أدلة محلية أو تخزين سحابي بعيد، وتدعم واجهة المستخدم التعريب من خلال ملفات ترجمة مخصصة وتكوينات تنسيق إقليمية.

Incus is a unified orchestration platform for managing system containers, OCI application containers, and virtual machines through a single control plane. It brings together cluster infrastructure management, secure multi-tenancy, software-defined networking, and pluggable storage backend orchestration into one cohesive system exposed via a full REST API and command-line interface. What distinguishes Incus is its ability to run multiple instance types side by side—full Linux system containers, OCI application containers, and QEMU virtual machines—all managed with consistent tooling. Networkin

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

myDrive هو خادم تخزين سحابي مستضاف ذاتياً ومدير ملفات قائم على الويب. يعمل كنظام تخزين ملفات مشفر يسمح للمستخدمين باستضافة وإدارة المستندات والوسائط الشخصية على أجهزتهم الخاصة. يعمل النظام كبوابة تخزين متعددة الخلفية، قادرة على توجيه بيانات الملفات إلى مواقع مختلفة بما في ذلك الأقراص المحلية أو حاويات التخزين السحابي البعيدة. يستخدم قاعدة بيانات مستندات لإدارة بيانات تعريف الملفات، وهياكل المجلدات، وتنظيم المستخدم. توفر المنصة إمكانيات لتحميل وتنزيل الملفات، وتنظيم المحتوى من خلال نظام سلة المهملات، ومشاركة الملفات الخاصة عبر روابط آمنة. يتضمن واجهة ويب لإدارة الوسائط عن بُعد مع صور مصغرة ومعاينات وسائط مدمجة. يتم تأمين الوصول من خلال المصادقة عبر البريد الإلكتروني وتشفير البيانات القياسي في الصناعة.

Hawk هي مكتبة تخزين محلية آمنة وواجهة برمجة تطبيقات للاستمرارية لنظام Android. توفر إطار عمل لحفظ واسترداد القيم الأولية، والكائنات، والمجموعات باستخدام نظام تخزين المفتاح-القيمة. تتميز المكتبة بغلاف تخزين مشفر يؤمن البيانات من خلال مزود تشفير قابل للتوصيل، بما في ذلك آلية احتياطية للوضع غير المشفر. تسمح بنيتها بتنفيذ خلفيات تخزين مخصصة وحقن المكونات القائم على الواجهة لاستبدال عمليات التسلسل، والتحليل، والتحويل الافتراضية. يدعم النظام التسلسل الحافظ للنوع ويتضمن أدوات لإدارة دورة حياة البيانات، مثل إزالة الإدخالات المستهدفة وإعادة تعيين الحالة بالجملة. كما يتضمن قدرة اعتراض سجل النظام لالتقاط ومعالجة الرسائل الداخلية.