8 repository-uri
Architectural patterns using asynchronous event loops to handle high-concurrency network I/O and compute decoupling.
Distinct from Request Pipelines: None of the candidates cover high-concurrency API request pipelines for model compute
Explore 8 awesome GitHub repositories matching software engineering & architecture · Asynchronous Request Pipelines. Refine with filters or upvote what's useful.
PocketHub is an Android mobile client and Git client designed for managing GitHub repositories, issues, and pull requests. It functions as a mobile interface and API wrapper that interacts with the GitHub REST API to facilitate account and repository management on mobile devices. The application enables a mobile Git workflow, allowing users to track development progress and review code changes. This includes capabilities for GitHub repository administration and the management of user profiles and account activity. The project implements a mobile interface for interacting with GitHub via REST
Utilizes asynchronous request pipelines to ensure the user interface remains responsive during network operations.
FreeAskInternet este un agregator de căutare AI self-hosted și o platformă de generare de răspunsuri. Utilizează un model de limbaj pentru a sintetiza rezultatele din mai multe motoare de căutare web într-un singur răspuns cuprinzător, integrându-se cu SearXNG pentru a colecta date web brute. Sistemul este conceput pentru deployment local prin containerizare Docker, permițând agregatorului de căutare și interfeței utilizator să ruleze în medii izolate. Suportă integrarea modelelor de limbaj locale și oferă o interfață agnostică față de furnizor pentru a comuta între diferite backend-uri de modele locale sau la distanță. Platforma gestionează căutarea și sinteza printr-un pipeline de cereri asincron și utilizează server-sent events pentru a transmite textul generat către interfața utilizator. Utilizează injectarea de context bazată pe prompt-uri pentru a introduce rezultatele căutării agregate în model pentru răspunsuri fundamentate.
Employs an asynchronous request pipeline to handle search and synthesis without freezing the user interface.
JMComic-Crawler-Python is a high-performance asynchronous web scraper and API client designed to programmatically retrieve images and metadata from a comic hosting service. It functions as a media archiving tool for batch downloading albums and chapters, automating the process of saving content to a local filesystem. The project is distinguished by its ability to reverse server-side pixel obfuscation, using a decryption tool to reconstruct sliced and shuffled images. To maintain stable connectivity, it utilizes a network bypass utility featuring dynamic domain rotation and proxy routing to ci
Implements an asynchronous pipeline that decouples network I/O from image decryption to maximize throughput.
BotsApp este un instrument de automatizare WhatsApp și un framework de tip userbot conceput pentru a adăuga capabilități personalizate și automatizare unui cont standard de utilizator WhatsApp. Funcționează ca un bot asistent personal care execută acțiuni automatizate și gestionează conversațiile în cadrul platformei. Proiectul oferă o interfață scriptabilă pentru automatizarea sarcinilor contului și extinderea funcționalităților unui profil personal. Aceasta permite implementarea unui userbot pentru a gestiona automatizarea mesajelor personale și fluxurile de lucru repetitive ale contului.
Implements an asynchronous request pipeline using a non-blocking event loop to handle concurrent API calls and message deliveries.
TopList is a trending news aggregator and headline aggregation dashboard. Built as a Go web crawler, it functions as a centralized tool for collecting and displaying popular current topics from diverse online news and social sources in a single view. The system focuses on multi-source content scraping and web headline monitoring. It retrieves information from various web pages to consolidate trending headlines into a unified feed.
Uses an asynchronous request pipeline to fetch headlines from multiple websites in parallel without blocking execution.
ollama-js este o bibliotecă client JavaScript și un wrapper API care oferă o interfață programatică pentru interacțiunea cu și gestionarea modelelor de limbaj mari (LLM). Permite execuția modelelor atât în medii locale, cât și în cloud, facilitând generarea de text conversațional și gestionarea ciclului de viață al modelelor. Proiectul se distinge prin oferirea de instrumente specializate pentru administrarea modelelor, inclusiv capacitatea de a descărca, crea și elimina modele, precum și capacitatea de a defini blueprint-uri de modele personalizate și template-uri de prompt-uri. Oferă, de asemenea, un client de vector embedding pentru generarea reprezentărilor numerice ale textului pentru a susține pipeline-urile de căutare semantică și regăsire. Biblioteca acoperă o gamă largă de capabilități, inclusiv analiza multimodală pentru procesarea imaginilor, capturarea urmelor de raționament intern și impunerea schemelor JSON structurate pentru extracția datelor. Mai mult, suportă interacțiunea avansată cu modelele prin invocarea de instrumente și streaming-ul răspunsurilor prin generatoare asincrone. Biblioteca este scrisă în TypeScript.
Utilizes asynchronous request pipelines to handle non-blocking API calls for prompts and embeddings.
vllm-omni is a high-throughput serving engine and distributed inference framework designed for omni-modal models. It serves as a multi-modal model API server capable of generating text, image, video, and audio data, providing a standardized interface for remote client access. The system features a non-autoregressive generation engine for parallel media production and a robot policy inference server that acts as a real-time communication bridge to robotic hardware using specialized protocols. It supports hybrid execution models that combine sequential token generation with parallelized media g
Handles high-concurrency API requests using an asynchronous event loop to decouple network I/O from model compute.
franz-go is a low-level Go client library and wire protocol implementation for producing, consuming, and administering Kafka clusters. It functions as a zero-allocation network driver that utilizes a direct TCP communication layer to handle requests and responses. The project integrates a schema registry client for encoding and decoding structured data. It provides a programmatic interface for cluster administration, including the management of topics, access control lists, and broker configurations. The library covers data consumption through consumer groups, message production with transac
Implements asynchronous request pipelining to increase throughput by sending multiple requests without waiting for immediate responses.