8 Repos
Architectural patterns using asynchronous event loops to handle high-concurrency network I/O and compute decoupling.
Distinct from Request Pipelines: None of the candidates cover high-concurrency API request pipelines for model compute
Explore 8 awesome GitHub repositories matching software engineering & architecture · Asynchronous Request Pipelines. Refine with filters or upvote what's useful.
PocketHub is an Android mobile client and Git client designed for managing GitHub repositories, issues, and pull requests. It functions as a mobile interface and API wrapper that interacts with the GitHub REST API to facilitate account and repository management on mobile devices. The application enables a mobile Git workflow, allowing users to track development progress and review code changes. This includes capabilities for GitHub repository administration and the management of user profiles and account activity. The project implements a mobile interface for interacting with GitHub via REST
Utilizes asynchronous request pipelines to ensure the user interface remains responsive during network operations.
FreeAskInternet ist ein selbstgehosteter KI-Suchaggregator und eine Plattform zur Antwortgenerierung. Er verwendet ein Sprachmodell, um Ergebnisse von mehreren Websuchmaschinen zu einer einzigen, umfassenden Antwort zu synthetisieren, und integriert sich mit SearXNG, um Rohdaten aus dem Web zu sammeln. Das System ist für die lokale Bereitstellung mittels Docker-Containerisierung konzipiert, was es ermöglicht, den Suchaggregator und die Benutzeroberfläche in isolierten Umgebungen auszuführen. Es unterstützt die Integration lokaler Sprachmodelle und bietet eine anbieterunabhängige Schnittstelle, um zwischen verschiedenen lokalen oder Remote-Modell-Backends zu wechseln. Die Plattform wickelt die Suche und Synthese über eine asynchrone Request-Pipeline ab und verwendet Server-Sent Events (SSE), um generierten Text an die Benutzeroberfläche zu streamen. Sie nutzt promptbasierte Kontext-Injektion, um aggregierte Suchergebnisse in das Modell einzuspeisen und fundierte Antworten zu erhalten.
Employs an asynchronous request pipeline to handle search and synthesis without freezing the user interface.
JMComic-Crawler-Python is a high-performance asynchronous web scraper and API client designed to programmatically retrieve images and metadata from a comic hosting service. It functions as a media archiving tool for batch downloading albums and chapters, automating the process of saving content to a local filesystem. The project is distinguished by its ability to reverse server-side pixel obfuscation, using a decryption tool to reconstruct sliced and shuffled images. To maintain stable connectivity, it utilizes a network bypass utility featuring dynamic domain rotation and proxy routing to ci
Implements an asynchronous pipeline that decouples network I/O from image decryption to maximize throughput.
BotsApp ist ein WhatsApp-Automatisierungstool und Userbot-Framework, das entwickelt wurde, um einem Standard-WhatsApp-Konto benutzerdefinierte Funktionen und Automatisierungen hinzuzufügen. Es fungiert als persönlicher Assistenten-Bot, der automatisierte Aktionen ausführt und Konversationen innerhalb der Plattform verwaltet. Das Projekt bietet ein skriptfähiges Interface zur Automatisierung von Kontoaufgaben und zur Erweiterung der Funktionen eines persönlichen Profils. Dies ermöglicht die Implementierung eines Userbots zur Handhabung der Automatisierung persönlicher Nachrichten und repetitiver Konto-Workflows.
Implements an asynchronous request pipeline using a non-blocking event loop to handle concurrent API calls and message deliveries.
TopList ist ein Aggregator für aktuelle Nachrichten und ein Dashboard zur Schlagzeilen-Aggregation. Als Go-Web-Crawler konzipiert, fungiert es als zentrales Tool zum Sammeln und Anzeigen populärer aktueller Themen aus verschiedenen Online-Nachrichten- und sozialen Quellen in einer einzigen Ansicht. Das System konzentriert sich auf das Multi-Source-Content-Scraping und die Überwachung von Web-Schlagzeilen. Es ruft Informationen von verschiedenen Webseiten ab, um trendige Schlagzeilen in einem einheitlichen Feed zu konsolidieren.
Uses an asynchronous request pipeline to fetch headlines from multiple websites in parallel without blocking execution.
ollama-js ist eine JavaScript-Client-Bibliothek und ein API-Wrapper, der eine programmatische Schnittstelle für die Interaktion mit und die Verwaltung von Large Language Models bietet. Sie ermöglicht die Ausführung von Modellen sowohl in lokalen als auch in Cloud-Umgebungen und erleichtert die Generierung von Konversationstexten sowie die Verwaltung von Modell-Lebenszyklen. Das Projekt zeichnet sich durch spezialisierte Tools für die Modelladministration aus, einschließlich der Möglichkeit, Modelle herunterzuladen, zu erstellen und zu entfernen, sowie der Kapazität, benutzerdefinierte Modell-Blueprints und Prompt-Templates zu definieren. Es bietet zudem einen Vektor-Embedding-Client zur Generierung numerischer Textrepräsentationen, um semantische Such- und Retrieval-Pipelines zu unterstützen. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich multimodaler Analyse zur Bildverarbeitung, Erfassung interner Reasoning-Traces und die Durchsetzung strukturierter JSON-Schemata für die Datenextraktion. Sie unterstützt zudem fortgeschrittene Modellinteraktion durch Tool-Invocation und das Streamen von Antworten via asynchroner Generatoren. Die Bibliothek ist in TypeScript geschrieben.
Utilizes asynchronous request pipelines to handle non-blocking API calls for prompts and embeddings.
vllm-omni is a high-throughput serving engine and distributed inference framework designed for omni-modal models. It serves as a multi-modal model API server capable of generating text, image, video, and audio data, providing a standardized interface for remote client access. The system features a non-autoregressive generation engine for parallel media production and a robot policy inference server that acts as a real-time communication bridge to robotic hardware using specialized protocols. It supports hybrid execution models that combine sequential token generation with parallelized media g
Handles high-concurrency API requests using an asynchronous event loop to decouple network I/O from model compute.
franz-go is a low-level Go client library and wire protocol implementation for producing, consuming, and administering Kafka clusters. It functions as a zero-allocation network driver that utilizes a direct TCP communication layer to handle requests and responses. The project integrates a schema registry client for encoding and decoding structured data. It provides a programmatic interface for cluster administration, including the management of topics, access control lists, and broker configurations. The library covers data consumption through consumer groups, message production with transac
Implements asynchronous request pipelining to increase throughput by sending multiple requests without waiting for immediate responses.