Awesome GitHub RepositoriesAsyncio Coroutine Execution

rq is a distributed task queue and background worker system for Python that uses a Redis backend to decouple task submission from execution. It functions as a reliable message queue and task scheduler, allowing Python functions or asyncio coroutines to be processed asynchronously across multiple worker processes. The project distinguishes itself through reliable queuing mechanisms that prevent job loss during worker crashes using atomic operations. It provides specialized orchestration capabilities, including the prevention of duplicate jobs, job execution prioritization, and the ability to m

ollama-python is a Python client for interacting with large language models. It provides an interface for sending prompts to receive text and chat completions, as well as a dedicated client for generating numerical vector embeddings from text. The project includes a wrapper that emulates the OpenAI API, allowing applications built for that standard to interact with local models. It also provides a non-blocking asynchronous client for executing concurrent requests. The library covers the full model lifecycle, including the ability to pull, create, list, and delete models within a local enviro

Robyn is a high-performance asynchronous web framework and server for Python that utilizes a Rust-powered runtime to execute code. It functions as an asynchronous Python web server designed to handle many concurrent requests efficiently through a multithreaded execution model. The project includes specialized capabilities for AI agent request routing, managing communication between agents and external tools. It also serves as a WebSocket communication server, maintaining persistent bidirectional channels for real-time data exchange. The framework covers a broad range of web infrastructure, i

Hug is a type-driven Python web framework designed for building APIs. It uses Python type annotations to automatically validate and convert incoming request data and to format outgoing responses. The framework functions as an automated documentation tool by extracting function signatures and markers from source code to generate accessible API specifications. It also supports non-blocking coroutines for asynchronous API processing to handle background tasks without interrupting the main request cycle. The project provides capabilities for REST API development, including route mapping, endpoin

Ce projet est une collection de scripts pratiques et de guides de référence qui démontrent des fonctionnalités et idiomes avancés du langage Python. Il fournit des implémentations de code pour maîtriser des concepts tels que la concurrence, la métaprogrammation et la conception de structures de données. Le dépôt inclut des exemples du modèle d'objet Python, couvrant l'accès aux attributs personnalisés, les protocoles de descripteur et les surcharges de méthodes spéciales. Il présente également des implémentations de patterns de conception qui utilisent des fonctions de première classe et des décorateurs pour réduire le boilerplate orienté objet. La base de code couvre un large éventail de capacités, notamment la programmation asynchrone avec des boucles d'événements et des futures, la création de séquences et de générateurs personnalisés, et l'utilisation de classes de base abstraites pour l'application d'interfaces. Il démontre en outre la gestion des ressources via des gestionnaires de contexte et la manipulation de séquences de texte et d'octets.

geopy is a Python geocoding library and geolocation client used to convert human-readable addresses into geographic coordinates and resolve coordinates back into street addresses using various third-party web services. The library provides a consistent provider-based interface that abstracts multiple external geocoding services, allowing for interchangeable backends. It includes built-in request rate limiting and asynchronous client interfaces to manage API call frequency and execute concurrent lookups without halting execution. Beyond geocoding, the project includes geospatial utilities for

LitServe est un framework de serveur d'inférence IA Python et un framework de service LLM conçu pour l'inférence à haute concurrence. Il fonctionne comme un serveur de modèle IA distribué et un moteur d'inférence à traitement par lots dynamique, fournissant les outils pour construire et héberger des serveurs personnalisés qui exécutent des modèles IA. Le framework se distingue par une file d'attente de requêtes à traitement par lots dynamique qui regroupe les requêtes d'inférence individuelles en tenseurs uniques pour maximiser le débit GPU. Il prend en charge la mise à l'échelle GPU distribuée, permettant aux charges de travail des modèles d'être réparties sur plusieurs accélérateurs matériels pour équilibrer les charges de calcul et augmenter la capacité totale. Le système fournit une interface wrapper de haut niveau qui découple le prétraitement et le post-traitement des requêtes de la logique d'exécution du modèle principal. Il inclut également des capacités pour le streaming de modèles en temps réel afin de fournir des sorties de manière incrémentale et utilise une boucle d'événements asynchrone pour gérer les requêtes réseau concurrentes.