7 repository-uri
Mechanisms for offloading log event processing to background threads using queues to minimize application latency.
Distinct from Event Logging: Distinct from general Event Logging as it specifically addresses the performance optimization of asynchronous delivery.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Asynchronous Processing. Refine with filters or upvote what's useful.
downkyicore is a cross-platform desktop application designed for the automated batch downloading of Bilibili videos, including support for high-resolution 8K and HDR content. It functions as a batch media downloader that manages multiple files and collections simultaneously through an automated queue system. The project integrates FFmpeg for media processing to separate audio and video streams and remove watermarks. It uses specialized mechanisms to bypass access restrictions and rate limits by employing random identifiers and mobile referrers during the parsing process. The system includes
Utilizes a background queue for asynchronous logging to prevent I/O operations from blocking the main application process.
Acest proiect este un framework de servire a modelelor PyTorch conceput pentru a deploya și scala modele de machine learning în producție prin endpoint-uri de rețea scalabile. Funcționează ca un server de inferență de înaltă performanță, optimizator și manager al ciclului de viață al modelelor care gestionează încărcarea modelelor, batching-ul cererilor și accelerarea hardware. Sistemul se distinge prin capabilități avansate de orchestrare și optimizare, cum ar fi înlănțuirea mai multor modele în fluxuri de lucru secvențiale folosind grafuri de execuție și utilizarea batching-ului dinamic pentru a îmbunătăți throughput-ul și latența. Oferă suport specializat pentru AI generativ și modele de limbaj mari (LLM) prin batching continuu și paralelism tensorial. Ariile largi de capabilități includ gestionarea resurselor GPU pe diverse hardware-uri precum NVIDIA, AMD și Apple Silicon, precum și gestionarea cuprinzătoare a ciclului de viață al modelelor pentru înregistrare, versionare și scalarea worker-ilor. De asemenea, integrează instrumente de observabilitate pentru urmărirea stării sistemului și a performanței modelului prin metrici compatibile cu Prometheus. Serverul este gestionat printr-o interfață de linie de comandă utilizată pentru controlul ciclului de viață și configurarea parametrilor de runtime.
Optimizes throughput by processing log entries asynchronously to prevent blocking I/O.
Easyloggingpp este un framework de logging C++ de tip header-only și un instrument de diagnosticare conceput pentru înregistrarea evenimentelor de sistem și a mesajelor de diagnosticare. Acesta funcționează ca o bibliotecă de logging thread-safe care sincronizează accesul între mai multe thread-uri de execuție concurente pentru a preveni coruperea datelor în timpul înregistrării evenimentelor. Framework-ul dispune de un logger asincron care procesează mesajele pe un thread de fundal pentru a minimiza latența și a preveni blocarea aplicației principale. Acesta acționează, de asemenea, ca un dispecer de log-uri, capabil să direcționeze datele către fișiere locale, facilități de sistem syslog sau destinații de rețea la distanță pentru monitorizarea sistemului. Setul de instrumente acoperă o gamă largă de capabilități de observabilitate, inclusiv capturarea stack trace-ului, gestionarea log-urilor de crash și urmărirea timpului de execuție pentru profilarea performanței. Oferă utilitare de gestionare pentru rotația fișierelor bazată pe dimensiune, layout-uri de log personalizate și filtrare pe niveluri de severitate, alături de suport pentru serializarea tipurilor complexe și a obiectelor definite de utilizator.
Provides mechanisms to offload log event processing to background threads to minimize application latency.
Easyloggingpp este o bibliotecă de logging C++ și un framework de logging thread-safe utilizat pentru înregistrarea mesajelor de diagnosticare și a evenimentelor aplicației. Acesta funcționează ca un logger asincron, procesând mesajele pe un thread de fundal pentru a reduce latența și a preveni blocarea căii principale de execuție. Proiectul include un manager de rotație a log-urilor pentru a trunchia sau a roti automat fișierele odată ce ating o limită de dimensiune specificată pe disc. Servește, de asemenea, ca instrument de urmărire a performanței pentru măsurarea timpului de execuție a funcțiilor și înregistrarea punctelor de control pentru a identifica blocajele de procesare. Biblioteca acoperă o gamă largă de capabilități de observabilitate, inclusiv formatarea datelor pentru tipuri complexe și clase personalizate, gestionarea crash-urilor bazată pe semnale pentru capturarea stack trace-ului și rutarea log-urilor către sink-uri personalizate sau logger-e de sistem. Oferă mecanisme de filtrare bazate pe niveluri de severitate și condiții booleene, precum și utilitare de configurare pentru gestionarea instanțelor de logger numite și a stării de logging partajate.
Implements asynchronous processing to offload log events to background threads and minimize application latency.
This project is a logging framework for Java environments, providing a standardized interface for capturing diagnostic application events and maintaining persistent audit trails. It functions as an enterprise-grade logging engine designed to handle high-throughput applications while managing complex diagnostic data. The framework distinguishes itself through a modular provider architecture that allows for the dynamic swapping of logging implementations and output destinations. It utilizes a hierarchical configuration system that enables granular control over logging behavior, supported by plu
Offloads log event processing to background threads using queues to minimize application latency.
Logback is a Java logging framework used to record system events and diagnostic messages through a programmable API. It serves as a concrete implementation of the Simple Logging Facade for Java (SLF4J) and provides a structured logging engine for outputting events in machine-readable formats like JSON. The system distinguishes itself through an asynchronous log processor that utilizes circular queues and background workers to reduce performance overhead. It also features a log file rotation manager for size-based or time-based rollover with automatic compression, and the ability to update log
Buffering log events in background queues to prevent logging operations from slowing down the main application performance.
Serverul acționează ca un motor centralizat de ingestie conceput pentru a colecta, normaliza și indexa datele de telemetrie distribuite. Funcționează ca un procesor backend care primește metrici de performanță, urme (traces) și jurnale de erori de la agenții aplicației, transformându-le în documente structurate pentru stocare și analiză în cadrul platformelor de căutare și analiză. Sistemul se distinge printr-un pipeline de ingestie cu throughput ridicat care utilizează procesarea asincronă a evenimentelor și controlul fluxului conștient de backpressure pentru a menține stabilitatea în timpul vârfurilor de trafic. Utilizează etape de transformare modulare, bazate pe plugin-uri, pentru a igieniza și îmbogăți payload-urile primite, asigurându-se că datele eterogene sunt mapate într-o schemă unificată înainte de a fi comise în backend prin indexare bulk optimizată. Dincolo de ingestia de bază, proiectul oferă capabilități cuprinzătoare de observabilitate, inclusiv urmărirea distribuită a cererilor, maparea dependențelor serviciilor și urmărirea erorilor aplicației. Suportă monitorizarea specializată pentru instrumentarea mobilă și aplicațiile cu modele de limbaj, oferind în același timp instrumente de diagnosticare pentru corelarea anomaliilor de performanță și colectarea metricilor la nivel de sistem. Repository-ul include o suită de utilitare pentru orchestrarea dezvoltării locale, sincronizarea containerelor și testarea automată a căilor de upgrade ale implementării.
Decouples data reception from indexing using background processing to maintain stability during traffic spikes.