awesome-repositories.com
Blog
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetÀ proposNotre méthodologiePresseServeur MCP
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

24 dépôts

Awesome GitHub RepositoriesRequest Deduplication

Techniques to collapse multiple concurrent network requests for the same resource.

Distinguishing note: Focuses on request collapsing, not general caching.

Explore 24 awesome GitHub repositories matching web development · Request Deduplication. Refine with filters or upvote what's useful.

Awesome Request Deduplication GitHub Repositories

Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
  • vercel/swrAvatar de vercel

    vercel/swr

    32,406Voir sur GitHub↗

    SWR is a data fetching library that provides a collection of hooks for managing remote data synchronization, caching, and state updates in web applications. It employs a declarative approach to handle complex network request lifecycles and dependency chains, ensuring that client-side application state remains consistent with server data through automatic revalidation and background updates. The library distinguishes itself through a reactive cache layer that automatically synchronizes local state with remote sources based on component lifecycle events. It features event-driven revalidation, w

    Collapses multiple concurrent requests for the same resource into a single network call using unique keys.

    TypeScriptcachedatadata-fetching
    Voir sur GitHub↗32,406
  • vectordotdev/vectorAvatar de vectordotdev

    vectordotdev/vector

    22,071Voir sur GitHub↗

    Vector is a high-performance observability data pipeline designed to collect, transform, and route logs, metrics, and traces across distributed infrastructure. It functions as a modular engine that decouples data ingestion from processing and transmission, utilizing a component-based architecture to connect diverse sources to multiple destinations. The project distinguishes itself through a focus on reliability and flow control. It implements backpressure-aware data movement to prevent data loss during traffic spikes and utilizes disk-backed event buffering to ensure durability during network

    Eliminates redundant logs or metrics by comparing incoming data against a configurable cache of recent events.

    Rusteventsforwarderhacktoberfest
    Voir sur GitHub↗22,071
  • cube-js/cubeAvatar de cube-js

    cube-js/cube

    20,251Voir sur GitHub↗

    Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

    Protects data sources by deduplicating redundant analytical queries through managed queues.

    Rustagentic-analyticsagentsai
    Voir sur GitHub↗20,251
  • victoriametrics/victoriametricsAvatar de VictoriaMetrics

    VictoriaMetrics/VictoriaMetrics

    16,343Voir sur GitHub↗

    VictoriaMetrics is a high-performance, scalable time series database and observability platform designed for long-term storage and analysis of metric, log, and trace data. It functions as a unified backend for monitoring ecosystems, offering full compatibility with industry-standard protocols and query languages. The system is built to handle massive data volumes through a distributed architecture that supports horizontal scaling and efficient data lifecycle management. The platform distinguishes itself through a storage engine that utilizes consistent hashing for data sharding and log-struct

    Collapses redundant data points retrieved from multiple storage replicas into single samples to ensure accurate query results.

    Godatabasegrafanagraphite
    Voir sur GitHub↗16,343
  • improbable-eng/thanosAvatar de improbable-eng

    improbable-eng/thanos

    14,105Voir sur GitHub↗

    Thanos is a CNCF cloud native monitoring tool that provides a highly available and scalable extension to the Prometheus ecosystem. It functions as a global query engine, a long-term storage system, and a metric downsampler. The project enables a unified interface to aggregate and query metrics across multiple distributed clusters from a single view. It maintains historical data beyond local retention limits by persisting time-series metrics in object storage and eliminates data gaps by merging metrics from redundant server pairs. The system includes capabilities for reducing the resolution o

    Implements metric sample deduplication to collapse redundant data points from multiple storage replicas for storage accuracy.

    Go
    Voir sur GitHub↗14,105
  • golang/groupcacheAvatar de golang

    golang/groupcache

    13,326Voir sur GitHub↗

    Groupcache is a distributed caching library designed to coordinate data retrieval and storage across a cluster of nodes. It functions as a peer-to-peer data store that uses consistent hashing to assign specific keys to canonical owners, ensuring that cached items remain predictable and accessible throughout the network. The system distinguishes itself through a request coalescing engine that merges concurrent requests for the same missing key into a single upstream fetch. This mechanism prevents redundant backend load by ensuring that only one process retrieves the required data while sharing

    Prevents redundant backend fetches by merging concurrent requests for the same data into a single operation.

    Go
    Voir sur GitHub↗13,326
  • coil-kt/coilAvatar de coil-kt

    coil-kt/coil

    11,819Voir sur GitHub↗

    Coil is an image loading and caching pipeline designed for Android and Compose Multiplatform applications. It functions as a comprehensive loader, caching engine, and rendering utility that asynchronously fetches and displays images from network URLs, local storage, and multiplatform resource systems. The library distinguishes itself through a flexible fetcher-decoder pipeline and an interface-driven component registry, allowing for the integration of custom networking clients and decoders. It provides specialized support for rendering scalable vector graphics, animated formats such as GIF an

    Implements request collapsing to combine multiple simultaneous requests for the same image resource into a single execution.

    Kotlinandroidandroidxcompose
    Voir sur GitHub↗11,819
  • netflix/falcorAvatar de Netflix

    Netflix/falcor

    10,572Voir sur GitHub↗

    Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef

    Deduplicates requests during virtual graph traversal to reduce redundant data fetches.

    JavaScript
    Voir sur GitHub↗10,572
  • prometheus-operator/prometheus-operatorAvatar de prometheus-operator

    prometheus-operator/prometheus-operator

    9,941Voir sur GitHub↗

    The Prometheus Operator is a Kubernetes monitoring orchestrator and controller that manages Prometheus clusters and observability components through declarative custom resources. It functions as a custom resource controller that translates high-level Kubernetes resource definitions into the configuration files required by the underlying monitoring software. The project automates the deployment, scaling, and lifecycle of an observability stack, including the integration of components like Thanos and Alertmanager. It distinguishes itself by syncing monitoring targets, alerting rules, and scrape

    Implements external labels and relabeling rules to prevent duplicate data samples in high-availability backends.

    Gohacktoberfestkubernetesmonitoring
    Voir sur GitHub↗9,941
  • xiaomi/soarAvatar de XiaoMi

    XiaoMi/soar

    8,770Voir sur GitHub↗

    Soar is a suite of specialized tools designed for analyzing MySQL performance, advising on indexing, and optimizing SQL syntax. It functions as a performance analyzer, index advisor, and query optimizer to identify bottlenecks and suggest structural improvements for faster execution. The project distinguishes itself through a system for rewriting SQL statements into optimized equivalent versions using custom heuristic rules and patterns. It also features a dedicated index advisor that evaluates query patterns and database metadata to recommend the creation of new indexes. Its broader capabil

    Provides query fingerprinting by replacing literals with placeholders for deduplication and grouping.

    Goadvisorauditorcommand-line
    Voir sur GitHub↗8,770
  • kean/nukeAvatar de kean

    kean/Nuke

    8,600Voir sur GitHub↗

    Nuke is an image loading system designed to fetch, cache, and render images and short video clips within a user interface. It functions as an asset caching engine and a resumable download manager to handle the retrieval of remote media files. The framework includes a request priority manager to coordinate duplicate requests and order loading based on visual importance. It employs an image prefetching strategy to load visuals into memory before they are required and uses an LRU asset cache to reduce network traffic. The system covers broader capabilities in traffic management and data storage

    Collapses multiple concurrent network requests for the same image resource into a single shared promise.

    Swift
    Voir sur GitHub↗8,600
  • andeya/pholcusAvatar de andeya

    andeya/pholcus

    7,578Voir sur GitHub↗

    Pholcus is a distributed web crawling system designed for large-scale data scraping. It employs a master-worker distribution model to coordinate high-concurrency scraping tasks across a network of remote client nodes, enabling both horizontal and vertical data collection. The system features a hot-loadable rule engine that allows extraction and navigation logic to be updated at runtime without restarting the process. It handles dynamic content through headless browser integration and bypasses bot detection using proxy rotation, automated user authentication, and simulated human behavior. The

    Includes a request deduplication pipeline to prevent redundant network calls and infinite crawling loops.

    Go
    Voir sur GitHub↗7,578
  • chillicream/hotchocolateAvatar de ChilliCream

    ChilliCream/hotchocolate

    5,713Voir sur GitHub↗

    HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c

    Merges concurrent requests for the same key so the data source is queried only once per batch.

    C#
    Voir sur GitHub↗5,713
  • day8/re-frameAvatar de day8

    day8/re-frame

    5,532Voir sur GitHub↗

    re-frame est un framework fonctionnel pour construire des applications monopages (SPA) en ClojureScript. Il fournit une base de données centralisée et immuable qui sert de source unique de vérité pour l'état global de l'application, imposant un flux de données unidirectionnel strict où les événements déclenchent des transitions d'état et des mises à jour de vue. Le framework se distingue par un graphe de signaux réactifs et un pipeline de middleware basé sur des intercepteurs. En traitant la logique applicative comme une séquence d'événements pilotés par les données et d'effets de bord déclaratifs, il découple la logique métier de la couche de vue. Cette architecture permet aux développeurs de gérer des transitions d'état complexes et des opérations externes via des fonctions pures, garantissant que les effets de bord sont exécutés par un interpréteur séparé plutôt que par des appels impératifs. Le système inclut une suite complète de capacités pour gérer l'architecture applicative, notamment la dérivation de données réactives, la réconciliation de vue basée sur les abonnements et la gestion d'état pilotée par les événements. Il prend en charge des flux de développement avancés tels que le traçage d'événements, la mise en point d'état et la possibilité de simuler (stub) des effets de bord pour des tests isolés. Le projet est conçu pour une intégration avec React, utilisant la réconciliation du DOM virtuel pour mettre à jour efficacement les interfaces utilisateur. Il fournit un ensemble robuste d'utilitaires pour gérer les préoccupations transversales, les graphes de flux de données complexes et coordonner les opérations asynchrones au sein d'un pipeline d'événements séquentiel et prévisible.

    Collapses redundant data requests into single computation nodes to protect underlying sources and improve performance.

    Clojureclojurescriptre-framereact
    Voir sur GitHub↗5,532
  • elbywan/wretchAvatar de elbywan

    elbywan/wretch

    5,174Voir sur GitHub↗

    Wretch est une bibliothèque de client HTTP chaînable et un wrapper Fetch API conçu pour simplifier la configuration des requêtes réseau, l'analyse des réponses et la gestion des erreurs. Il fonctionne comme un gestionnaire de requêtes réseau et un framework de middleware pour gérer le cycle de vie de bout en bout des appels HTTP. Le projet se distingue par une interface fluide pour la configuration des requêtes et un système d'extension modulaire. Il utilise un résolveur de réponse programmable pour automatiser l'analyse et une architecture basée sur des plugins pour ajouter de nouvelles capacités aux objets de requête et de réponse. La bibliothèque couvre un large éventail de capacités opérationnelles, notamment les tentatives de requête automatiques avec recul exponentiel, la mise en cache des réponses et la déduplication des requêtes. Il fournit des outils pour la sérialisation dynamique des charges utiles, la validation du schéma de réponse et un pipeline de middleware pour la transformation globale des données et la surveillance des requêtes. Les fonctionnalités de sécurité incluent la prise en charge de l'authentification de base et le rafraîchissement automatique des jetons. La bibliothèque prend en charge des implémentations de fetch personnalisées pour assurer la compatibilité entre différents environnements.

    Collapses multiple identical outgoing requests into a single execution to prevent redundant network calls.

    TypeScript
    Voir sur GitHub↗5,174
  • middleapi/orpcAvatar de middleapi

    middleapi/orpc

    4,862Voir sur GitHub↗

    orpc is a contract-first API development framework for TypeScript that starts with a shared contract definition and generates type-safe clients and servers from that single source of truth. It guarantees end-to-end type safety, meaning inputs, outputs, errors, and streaming data are all checked at compile time across the client–server boundary. What distinguishes orpc from typical RPC frameworks is its ability to export contracts as OpenAPI specifications, to optimize server-side rendering by calling API handlers directly inside the server process, and to support real‑time bidirectional commu

    Prevents redundant client-side requests by grouping similar ones so only one is sent to the server.

    TypeScriptapibunjscloudflare-worker
    Voir sur GitHub↗4,862
  • onejs/oneAvatar de onejs

    onejs/one

    4,475Voir sur GitHub↗

    One est un framework React full-stack multiplateforme et un moteur de rendu multi-cibles conçu pour construire des applications web et natives à partir d'une base de code unique. Il utilise un pipeline de build basé sur Vite pour gérer les composants partagés tout en fournissant un routeur de système de fichiers typé qui génère automatiquement les définitions de navigation. Le framework se distingue par la prise en charge d'une stratégie de rendu hybride, permettant aux routes individuelles d'être configurées comme des sites statiques, des pages rendues côté serveur ou des applications monopages. Il emploie une résolution de logique spécifique à la plateforme et un plugin Vite partagé pour coordonner la compilation pour les environnements cibles web et natifs. Le système couvre un large éventail de capacités, notamment les chargeurs de données côté serveur, la gestion des routes API et l'interception de requêtes basée sur des middlewares. Il fournit des outils pour l'intégration de fonctionnalités natives des appareils et des mises en page basées sur des ponts pour la navigation mobile, ainsi que des optimisations de performance telles que la génération statique parallèle et le préchargement d'actifs. Les applications peuvent être déployées sur des serveurs de production ou des plateformes edge serverless, notamment Vercel et Cloudflare.

    Implements request collapsing to share results of simultaneous calls to the same route and reduce server load.

    TypeScriptlocal-firstreactreact-native
    Voir sur GitHub↗4,475
  • ht524/500lineorless_cnAvatar de HT524

    HT524/500LineorLess_CN

    4,434Voir sur GitHub↗

    Ce projet est un dépôt de localisation chinoise et un projet de traduction technique conçu pour rendre les projets de programmation concis et la documentation technique accessibles aux sinophones. Il fournit une collection de ressources traduites et des mappages curés de terminologie informatique pour assurer une traduction cohérente des concepts techniques. Le projet implémente un flux de travail de localisation logicielle qui convertit les guides techniques et la documentation de base de code en langue anglaise vers le chinois. Ce processus utilise une ressource de glossaire technique et un modèle de localisation piloté par les ressources pour maintenir le sens original et le contexte technique du matériel source. Le dépôt couvre la traduction de documentation technique et la gestion de mappages de traduction standardisés pour assurer une formulation technique cohérente à travers divers projets logiciels.

    Filters out previously visited nodes during graph traversal to prevent redundant results.

    Jupyter Notebook
    Voir sur GitHub↗4,434
  • apache/ageAvatar de apache

    apache/age

    4,236Voir sur GitHub↗

    Apache AGE is a graph database extension for PostgreSQL that adds openCypher graph query capabilities directly within the relational database environment. It functions as a loadable extension that translates Cypher graph traversal queries into SQL expressions, enabling users to run pattern matching and path analysis alongside standard SQL operations within a single database instance. The extension stores labeled, directed property graphs as isolated schemas with internal relational tables for vertices, edges, and labels, preventing cross-graph interference. It supports hybrid query execution

    Supports removing duplicate rows from graph query results using the DISTINCT modifier.

    Cage-databaseagensgraphanalytics
    Voir sur GitHub↗4,236
  • pinterest/pinremoteimageAvatar de pinterest

    pinterest/PINRemoteImage

    4,028Voir sur GitHub↗

    PINRemoteImage est un framework de téléchargement et de mise en cache d'images pour iOS. Il fonctionne comme un chargeur d'images distant et un gestionnaire multi-thread conçu pour récupérer des images à partir d'URL et les rendre dans les interfaces utilisateur. Le projet inclut des décodeurs spécialisés pour le rendu des formats GIF et WebP animé. Il dispose également d'un moteur de rendu JPG progressif qui affiche les scans avec des effets de flou pour améliorer la vitesse de chargement perçue sur les connexions lentes. La bibliothèque gère les tâches de téléchargement concurrentes avec déduplication des requêtes et utilise un système de mise en cache hybride mémoire et disque. Elle gère la mise à l'échelle des assets haute résolution et effectue le décodage des images sur des threads en arrière-plan pour maintenir la réactivité de l'interface utilisateur.

    Collapses multiple concurrent network requests for the same image resource to prevent redundant data transfers.

    Objective-C
    Voir sur GitHub↗4,028
Préc.12Suivant
  1. Home
  2. Web Development
  3. Request Deduplication

Explorer les sous-tags

  • Query Deduplications3 sous-tagsTechniques for collapsing redundant data requests to protect underlying sources. **Distinct from Request Deduplication:** Distinct from Request Deduplication: focuses on query-level deduplication for analytical workloads rather than general network request collapsing.