Awesome GitHub RepositoriesData File Compaction

Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor

RoseDB es una base de datos embebida de clave-valor y un motor de almacenamiento estructurado en registros (log-structured). Funciona como una base de datos basada en librería que se ejecuta dentro de un proceso de aplicación para proporcionar persistencia de datos local sin necesidad de un servidor de base de datos separado. El proyecto implementa un almacén al estilo Bitcask, utilizando un formato de registro de solo adición (append-only) para maximizar el rendimiento de escritura y minimizar el tiempo de búsqueda. Garantiza la consistencia de los datos agrupando múltiples operaciones de lectura y escritura en unidades atómicas únicas. La arquitectura de almacenamiento se basa en un índice de claves en memoria para búsquedas de tiempo constante y utiliza gestión de archivos basada en segmentos para manejar la compactación de datos y la recuperación de espacio en disco.

Indigo es un framework y kit de herramientas basado en Go diseñado para construir, alojar y escalar servicios dentro del ecosistema AT Protocol. Proporciona la infraestructura fundamental para redes sociales descentralizadas, permitiendo a los desarrolladores implementar servicios de retransmisión (relay), gestionar repositorios de usuarios firmados criptográficamente y manejar la resolución de identidad a través de entornos federados. El proyecto destaca por una arquitectura robusta que desacopla el alojamiento de contenido del descubrimiento, permitiendo una moderación independiente y la generación de feeds algorítmicos. Utiliza almacenamiento direccionado por contenido y estructuras de repositorio basadas en árboles de Merkle para asegurar la integridad de los datos, mientras que su generación de esquemas basada en léxico crea automáticamente estructuras con seguridad de tipos para la comunicación entre servicios. Al mapear identificadores legibles por humanos a identificadores descentralizados, el sistema mantiene la propiedad verificable del usuario y la portabilidad de la cuenta a través de proveedores de alojamiento independientes. Más allá de su identidad central, el proyecto cubre una superficie integral para gestionar el estado distribuido, incluyendo streaming de eventos en tiempo real, sincronización y moderación automatizada. Proporciona herramientas extensas para la simulación de actividad de red, telemetría operativa e indexación de flujos de datos globales. El framework está diseñado para entornos de producción, ofreciendo opciones de despliegue contenedorizado y endpoints de diagnóstico para monitorear la salud de la sincronización y el rendimiento del sistema.