6 repositorios
Techniques for fetching associated data from object stores after verifying identifiers in a database.
Distinct from Content-Addressable Stores: Focuses on the architectural pattern of object retrieval in distributed systems, distinct from general in-memory stores.
Explore 6 awesome GitHub repositories matching data & databases · Object Storage Retrieval. Refine with filters or upvote what's useful.
Este proyecto es un recurso educativo integral y una guía de estudio centrada en la arquitectura de sistemas distribuidos y el diseño de infraestructura backend. Proporciona un plan de estudios estructurado para dominar los principios de escalabilidad, confiabilidad y rendimiento necesarios para diseñar sistemas de software complejos. El repositorio se distingue por ofrecer un enfoque metódico para la preparación de entrevistas técnicas, incorporando patrones de diseño, compensaciones arquitectónicas y herramientas de repetición espaciada para ayudar a los usuarios a retener conceptos complejos. Enfatiza el análisis basado en restricciones, enseñando a los usuarios cómo evaluar requisitos competitivos como latencia, consistencia y disponibilidad al redactar diseños arquitectónicos. El contenido cubre un amplio espectro de capacidades de diseño de sistemas, incluyendo estrategias para el escalado de bases de datos, gestión de tráfico y optimización de infraestructura. Detalla técnicas para el escalado horizontal, almacenamiento en caché multicapa, comunicación asíncrona y descubrimiento de servicios, al tiempo que proporciona marcos para realizar estimaciones de recursos y planificación de capacidad. La documentación está organizada como una guía de estudio, ofreciendo un camino sistemático a través de los fundamentos de la ingeniería backend y el diseño de sistemas a gran escala.
Teaches how to fetch associated data from an object store after verifying the existence of a requested identifier in the database.
Thanos is a distributed metrics query engine and monitoring scalability suite designed to provide a unified interface for aggregating data from multiple Prometheus servers and clusters. It functions as a high availability monitoring backend that eliminates single points of failure by deduplicating data from replicated instances. The system enables long-term retention by persisting time-series data to cloud-native object storage, allowing for unlimited historical archiving beyond the limits of local disks. It further optimizes this storage through a downsampling and retention manager that comp
Implements optimized data retrieval from object stores using block metadata and index caching to accelerate queries.
InsForge is a backend-as-a-service platform that provides an integrated suite of tools for managing relational databases, identity provision, object storage, and serverless compute. It functions as an open-source identity provider and a PostgreSQL database manager featuring integrated vector storage and row-level security. The platform serves as an LLM orchestration gateway, offering a unified endpoint to route requests across various AI providers through an OpenAI-compatible interface. It enables AI-driven application generation and connects AI agents to backend resources using a standardize
Provides paginated listing of files within a bucket with support for prefix filtering.
Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations
Maps application objects to hashes or JSON documents for declarative storage and retrieval.
wal-g es una herramienta de copia de seguridad en la nube de bases de datos y archivador de logs de escritura anticipada (write-ahead log) diseñado para recuperación ante desastres y recuperación en un punto en el tiempo. Archiva el estado de la base de datos y los logs de transacciones a proveedores de almacenamiento en la nube para asegurar la durabilidad de los datos a largo plazo. El proyecto proporciona un gestor para comprimir, cifrar y podar copias de seguridad de bases de datos almacenadas en almacenamiento de objetos en la nube. Permite específicamente la restauración de una base de datos a una marca de tiempo específica recuperando copias de seguridad base y reproduciendo logs de transacciones. Las capacidades de la herramienta cubren copia de seguridad y restauración multimotor, incluyendo la generación de copias de seguridad completas y delta. Gestiona el ciclo de vida de la copia de seguridad mediante seguimiento de inventario y políticas de poda automatizadas, e incluye utilidades para verificar la integridad de los archivos de log y de tabla. Un proxy local está disponible para emular APIs de almacenamiento en la nube para probar operaciones de copia de seguridad y restauración.
Retrieves specified objects from cloud storage to a local file with optional decryption bypass.
This project is a comprehensive library of reference implementations and patterns for building web applications using the Go Fiber framework. It provides curated templates and implementation guides for creating REST APIs, web servers, and structured backend services. The repository serves as a practical resource for applying architectural patterns, including Clean and Hexagonal architectures, as well as port-and-adapter decoupling. It offers detailed examples for integrating common web features such as OAuth2 authentication, JWT verification, WebSockets for real-time communication, and server
Implements techniques for fetching files from remote object stores and serving them to the client.