7 dépôts
Mechanisms for offloading log event processing to background threads using queues to minimize application latency.
Distinct from Event Logging: Distinct from general Event Logging as it specifically addresses the performance optimization of asynchronous delivery.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Asynchronous Processing. Refine with filters or upvote what's useful.
downkyicore is a cross-platform desktop application designed for the automated batch downloading of Bilibili videos, including support for high-resolution 8K and HDR content. It functions as a batch media downloader that manages multiple files and collections simultaneously through an automated queue system. The project integrates FFmpeg for media processing to separate audio and video streams and remove watermarks. It uses specialized mechanisms to bypass access restrictions and rate limits by employing random identifiers and mobile referrers during the parsing process. The system includes
Utilizes a background queue for asynchronous logging to prevent I/O operations from blocking the main application process.
Ce projet est un framework de service de modèles PyTorch conçu pour déployer et mettre à l'échelle des modèles de machine learning en production via des endpoints réseau évolutifs. Il fonctionne comme un serveur d'inférence haute performance, un optimiseur et un gestionnaire de cycle de vie de modèle qui gère le chargement des modèles, le batching des requêtes et l'accélération matérielle. Le système se distingue par des capacités avancées d'orchestration et d'optimisation, telles que le chaînage de plusieurs modèles dans des workflows séquentiels utilisant des graphes d'exécution et l'utilisation du batching dynamique pour améliorer le débit et la latence. Il offre un support spécialisé pour l'IA générative et les grands modèles de langage (LLM) grâce au batching continu et au parallélisme de tenseurs. Les domaines de capacités étendus incluent la gestion des ressources GPU sur divers matériels comme NVIDIA, AMD et Apple Silicon, ainsi qu'une gestion complète du cycle de vie des modèles pour l'enregistrement, le versioning et la mise à l'échelle des workers. Il intègre également des outils d'observabilité pour suivre la santé du système et les performances des modèles via des métriques compatibles Prometheus. Le serveur est géré via une interface de ligne de commande utilisée pour le contrôle du cycle de vie et la configuration des paramètres d'exécution.
Optimizes throughput by processing log entries asynchronously to prevent blocking I/O.
Easyloggingpp is a header-only C++ logging framework and diagnostic tool designed for recording system events and diagnostic messages. It functions as a thread-safe logging library that synchronizes access across multiple concurrent execution threads to prevent data corruption during event recording. The framework features an asynchronous logger that processes messages on a background thread to minimize latency and prevent blocking the main application. It also acts as a log dispatcher, capable of routing data to local files, system syslog facilities, or remote network destinations for system
Provides mechanisms to offload log event processing to background threads to minimize application latency.
Easyloggingpp is a C++ logging library and thread-safe logging framework used for recording diagnostic messages and application events. It functions as an asynchronous logger, processing messages on a background thread to reduce latency and prevent blocking the main execution path. The project includes a log rotation manager to automatically truncate or roll over files once they reach a specified disk size limit. It also serves as a performance tracking tool for measuring function execution timing and recording checkpoints to identify processing bottlenecks. The library covers a broad range
Implements asynchronous processing to offload log events to background threads and minimize application latency.
This project is a logging framework for Java environments, providing a standardized interface for capturing diagnostic application events and maintaining persistent audit trails. It functions as an enterprise-grade logging engine designed to handle high-throughput applications while managing complex diagnostic data. The framework distinguishes itself through a modular provider architecture that allows for the dynamic swapping of logging implementations and output destinations. It utilizes a hierarchical configuration system that enables granular control over logging behavior, supported by plu
Offloads log event processing to background threads using queues to minimize application latency.
Logback is a Java logging framework used to record system events and diagnostic messages through a programmable API. It serves as a concrete implementation of the Simple Logging Facade for Java (SLF4J) and provides a structured logging engine for outputting events in machine-readable formats like JSON. The system distinguishes itself through an asynchronous log processor that utilizes circular queues and background workers to reduce performance overhead. It also features a log file rotation manager for size-based or time-based rollover with automatic compression, and the ability to update log
Buffering log events in background queues to prevent logging operations from slowing down the main application performance.
Le serveur agit comme un moteur d'ingestion centralisé conçu pour collecter, normaliser et indexer les données de télémétrie distribuées. Il fonctionne comme un processeur backend qui reçoit des métriques de performance, des traces et des journaux d'erreurs provenant d'agents applicatifs, les transformant en documents structurés pour le stockage et l'analyse au sein de plateformes de recherche et d'analyse. Le système se distingue par un pipeline d'ingestion à haut débit qui utilise le traitement d'événements asynchrone et le contrôle de flux conscient de la contre-pression pour maintenir la stabilité lors des pics de trafic. Il emploie des étapes de transformation modulaires basées sur des plugins pour assainir et enrichir les charges utiles entrantes, garantissant que les données hétérogènes sont mappées dans un schéma unifié avant d'être validées dans le backend via une indexation en masse optimisée. Au-delà de l'ingestion de base, le projet fournit des capacités d'observabilité complètes, incluant le traçage de requêtes distribuées, la cartographie des dépendances de service et le suivi des erreurs applicatives. Il prend en charge une surveillance spécialisée pour l'instrumentation mobile et les applications de modèles de langage, tout en offrant des outils de diagnostic pour la corrélation des anomalies de performance et la collecte de métriques au niveau du système. Le dépôt inclut une suite d'utilitaires pour l'orchestration du développement local, la synchronisation des conteneurs et les tests automatisés des chemins de mise à niveau du déploiement.
Decouples data reception from indexing using background processing to maintain stability during traffic spikes.