6 repository-uri
Techniques for fetching associated data from object stores after verifying identifiers in a database.
Distinct from Content-Addressable Stores: Focuses on the architectural pattern of object retrieval in distributed systems, distinct from general in-memory stores.
Explore 6 awesome GitHub repositories matching data & databases · Object Storage Retrieval. Refine with filters or upvote what's useful.
Acest proiect este o resursă educațională cuprinzătoare și un ghid de studiu axat pe arhitectura sistemelor distribuite și designul infrastructurii backend. Oferă un curriculum structurat pentru stăpânirea principiilor de scalabilitate, fiabilitate și performanță necesare pentru a proiecta sisteme software complexe. Repository-ul se distinge prin oferirea unei abordări metodice pentru pregătirea interviurilor tehnice, încorporând tipare de design, compromisuri arhitecturale și instrumente de repetiție spațiată pentru a ajuta utilizatorii să rețină concepte complexe. Pune accent pe analiza bazată pe constrângeri, învățând utilizatorii cum să evalueze cerințele concurente precum latența, consistența și disponibilitatea atunci când schițează design-uri arhitecturale. Conținutul acoperă un spectru larg de capabilități de design de sistem, inclusiv strategii pentru scalarea bazelor de date, gestionarea traficului și optimizarea infrastructurii. Detaliază tehnici pentru scalarea orizontală, caching-ul pe mai multe niveluri, comunicarea asincronă și descoperirea serviciilor, oferind în același timp framework-uri pentru efectuarea estimărilor de resurse și planificarea capacității. Documentația este organizată ca un ghid de studiu, oferind o cale sistematică prin fundamentele ingineriei backend și designul sistemelor la scară largă.
Teaches how to fetch associated data from an object store after verifying the existence of a requested identifier in the database.
Thanos is a distributed metrics query engine and monitoring scalability suite designed to provide a unified interface for aggregating data from multiple Prometheus servers and clusters. It functions as a high availability monitoring backend that eliminates single points of failure by deduplicating data from replicated instances. The system enables long-term retention by persisting time-series data to cloud-native object storage, allowing for unlimited historical archiving beyond the limits of local disks. It further optimizes this storage through a downsampling and retention manager that comp
Implements optimized data retrieval from object stores using block metadata and index caching to accelerate queries.
InsForge is a backend-as-a-service platform that provides an integrated suite of tools for managing relational databases, identity provision, object storage, and serverless compute. It functions as an open-source identity provider and a PostgreSQL database manager featuring integrated vector storage and row-level security. The platform serves as an LLM orchestration gateway, offering a unified endpoint to route requests across various AI providers through an OpenAI-compatible interface. It enables AI-driven application generation and connects AI agents to backend resources using a standardize
Provides paginated listing of files within a bucket with support for prefix filtering.
Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations
Maps application objects to hashes or JSON documents for declarative storage and retrieval.
wal-g este un instrument de backup în cloud pentru baze de date și un arhivator de log-uri write-ahead conceput pentru recuperarea în caz de dezastru și recuperarea la un moment dat (point-in-time). Arhivează starea bazei de date și log-urile de tranzacție către furnizorii de stocare în cloud pentru a asigura durabilitatea datelor pe termen lung. Proiectul oferă un manager pentru comprimarea, criptarea și curățarea backup-urilor bazei de date stocate în stocarea de obiecte în cloud. Acesta permite în mod specific restaurarea unei baze de date la un timestamp specific prin preluarea backup-urilor de bază și reluarea log-urilor de tranzacție. Capabilitățile instrumentului acoperă backup-ul și restaurarea multi-motor, inclusiv generarea de backup-uri complete și delta. Gestionează ciclul de viață al backup-ului prin urmărirea inventarului și politici automate de curățare și include utilitare pentru verificarea integrității arhivelor de log-uri și a fișierelor de tabel. Un proxy local este disponibil pentru a emula API-urile de stocare în cloud pentru testarea operațiunilor de backup și restaurare.
Retrieves specified objects from cloud storage to a local file with optional decryption bypass.
This project is a comprehensive library of reference implementations and patterns for building web applications using the Go Fiber framework. It provides curated templates and implementation guides for creating REST APIs, web servers, and structured backend services. The repository serves as a practical resource for applying architectural patterns, including Clean and Hexagonal architectures, as well as port-and-adapter decoupling. It offers detailed examples for integrating common web features such as OAuth2 authentication, JWT verification, WebSockets for real-time communication, and server
Implements techniques for fetching files from remote object stores and serving them to the client.