facebook/Haxl
Haxl
Haxl este o bibliotecă Haskell și un orchestrator de cereri de servicii la distanță conceput pentru coordonarea preluării concurente a datelor, batching-ul cererilor și caching-ul între mai mulți furnizori de servicii la distanță. Funcționează ca un framework pentru recuperarea datelor din baze de date externe și servicii web, minimizând în același timp numărul de round-trip-uri de rețea.
Proiectul se distinge printr-un sistem de batching al cererilor bazat pe applicative, care grupează mai multe cereri individuale de date în apeluri unice pentru a reduce overhead-ul de rețea. Utilizează un scheduler asincron de cereri paralele pentru a executa cereri independente în mod concurent și folosește un strat de caching memoizat pentru a evita repetarea apelurilor de rețea identice în cadrul aceluiași ciclu de cerere.
Biblioteca oferă capabilități largi pentru gestionarea integrării datelor, inclusiv rezoluția monadică a dependențelor pentru cereri secvențiale și limitarea concurenței pentru a preveni supraîncărcarea API-urilor la distanță. Include, de asemenea, mecanisme pentru maparea tipurilor de cereri la implementări personalizate de surse de date.
Features
- Remote Data Fetching - Provides a framework for efficiently retrieving data from multiple external databases and web services.
- Cross-Request Data Caches - Stores fetched data within a request cycle to avoid repeating identical network calls.
- Service Call Caches - Caches the output of remote service calls to avoid redundant network requests for identical inputs.
- Request Orchestrators - Orchestrates concurrent network requests and manages the logic for retrieving data from various remote services.
- Parallel Request Executions - Provides a scheduler that executes independent data requests concurrently to minimize total latency.
- Parallel Data Fetching - Executes multiple data requests in parallel to retrieve results from different sources simultaneously.
- Haskell Data Retrieval Libraries - Provides a Haskell-specific implementation for retrieving data from remote sources with concurrency and batching.
- Request Memoization - Prevents duplicate network I/O by caching the results of identical data fetches within a single request cycle.
- Request Batching - Implements a general architectural pattern for grouping multiple individual requests into a single execution to minimize network round-trips.
- Custom Data Source Implementations - Allows the definition of custom fetch methods to map requests to specific external data retrieval logic.
- Request Rate Limiting - Controls the volume of simultaneous outgoing requests to prevent overloading external APIs.
- Monadic Sequencing - Sequences data requests via monadic dependency resolution to allow subsequent calls to use previous results.
- Request Dispatch Mappings - Maps request types to custom-implemented fetch methods for routing pending requests to specific retrieval logic.
- Concurrent Request Limits - Constrains the number of simultaneous outgoing requests to ensure the stability of remote data services.
- Data Access - Enables efficient, concurrent, and concise data access patterns.
