Awesome GitHub RepositoriesData File Compaction

Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor

RoseDB is an embedded key-value database and log-structured storage engine. It functions as a library-based database that runs within an application process to provide local data persistence without the need for a separate database server. The project implements a Bitcask-style store, utilizing an append-only log format to maximize write throughput and minimize seek time. It ensures data consistency by grouping multiple read and write operations into single atomic units. The storage architecture relies on an in-memory key index for constant-time lookups and uses segment-based file management

Indigo هو إطار عمل ومجموعة أدوات قائمة على Go مصممة لبناء واستضافة وتوسيع نطاق الخدمات داخل نظام AT Protocol البيئي. يوفر البنية التحتية التأسيسية للشبكات الاجتماعية اللامركزية، مما يتيح للمطورين تنفيذ خدمات الترحيل، وإدارة مستودعات المستخدمين الموقعة تشفيرياً، والتعامل مع دقة الهوية عبر البيئات الموحدة. يتميز المشروع ببنية قوية تفصل استضافة المحتوى عن الاكتشاف، مما يسمح بالاعتدال المستقل وتوليد التغذية الخوارزمية. يستخدم المشروع تخزيناً موجهاً بالمحتوى وهياكل مستودع قائمة على شجرة Merkle لضمان سلامة البيانات، بينما يقوم توليد المخطط القائم على المعجم بإنشاء هياكل آمنة من حيث النوع تلقائياً للتواصل عبر الخدمات. من خلال تعيين المقابض القابلة للقراءة البشرية إلى معرفات لامركزية، يحافظ النظام على ملكية المستخدم القابلة للتحقق وقابلية نقل الحساب عبر مزودي الاستضافة المستقلين. بعيداً عن هويته الأساسية، يغطي المشروع مساحة شاملة لإدارة الحالة الموزعة، بما في ذلك بث الأحداث في الوقت الفعلي، والمزامنة، والاعتدال الآلي. يوفر المشروع أدوات واسعة النطاق لمحاكاة نشاط الشبكة، والقياس عن بُعد التشغيلي، وفهرسة تدفقات البيانات العالمية. تم تصميم إطار العمل لبيئات الإنتاج، حيث يوفر خيارات نشر حاوية ونقاط نهاية تشخيصية لمراقبة صحة المزامنة وأداء النظام.