Awesome GitHub RepositoriesAsynchronous Progress Tracking

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

q is a JavaScript promise library and asynchronous flow controller designed to manage non-blocking operations. It serves as a system for coordinating parallel tasks and sequencing asynchronous workflows through task chaining and error propagation. The library distinguishes itself with specialized debugging tools that capture long stack traces across asynchronous jumps and monitor unhandled rejections to prevent silent failures. It also functions as a remote object proxy, forwarding method calls to remote targets and routing responses back through promises. The project provides comprehensive

This is a Raft consensus library and distributed consensus engine implemented in Go. It provides the primitives necessary to build fault-tolerant distributed services by implementing a replicated state machine that ensures a group of servers agree on a shared system state through leader election and log replication. The project distinguishes itself through a pluggable architecture for storage backends and snapshot storage, decoupling the consensus logic from physical persistence. It includes specialized mechanisms for leadership transfer, protocol version management to support rolling upgrade

The inspector is a diagnostic and validation tool for the Model Context Protocol. It provides an interactive interface and a transport proxy to discover, inspect, and execute the tools, prompts, and resources provided by an MCP server. The project serves as a debugger and compliance tester to verify that server implementations adhere to the protocol specification and JSON-RPC standards. It allows for real-time monitoring of message exchanges and logs between clients and servers across various transport layers, such as standard input/output and Server-Sent Events. The tool covers a broad rang

Model Context Protocol is a standardized framework for connecting large language models to external data sources and executable tools. It enables the creation of a universal interface where servers expose tools, resources, and prompts that can be discovered and utilized by various AI clients. The protocol utilizes a JSON-RPC message system that is transport-agnostic, supporting both standard input/output for local processes and HTTP with server-sent events for remote connections. It emphasizes security and control by delegating model sampling to the client to keep API keys secure from servers

This project is a centralized API specification registry and governance framework. It serves as a source of truth for structured API schemas, gRPC definitions, and data models used to maintain consistency across a large ecosystem of services. The system functions as a multi-language client generator, transforming standardized interface definitions into executable source code and language-specific libraries. This process ensures that client libraries and technical documentation remain synchronized by deriving them directly from the original interface definitions. The project also covers the m

BullMQ is a Redis-backed message queue library and background processor designed for distributed task queueing. It functions as a distributed queue manager and task scheduler, utilizing Redis to manage asynchronous job processing and persistence. The system distinguishes itself through its role as a job workflow orchestrator, enabling the definition of complex parent-child job dependencies and hierarchies for multi-step workflows. It provides sandboxed process execution to isolate heavy workloads and prevent event loop blocking, alongside distributed rate limiting to protect downstream servic

node-fluent-ffmpeg es un envoltorio de Node.js para FFmpeg que proporciona una interfaz fluida para ejecutar comandos multimedia y procesar archivos. Funciona como un gestor de procesos que maneja el ciclo de vida de los binarios externos de FFmpeg, permitiendo la transcodificación multimedia programática, la generación de miniaturas de video y la extracción de metadatos a través de ffprobe. La biblioteca se distingue por un constructor de comandos que traduce llamadas a métodos de JavaScript en argumentos de línea de comandos. Cuenta con monitoreo de progreso basado en eventos para rastrear fotogramas procesados y rendimiento, así como la capacidad de enrutar datos multimedia procesados directamente a flujos escribibles para su manejo en tiempo real. El proyecto cubre amplias capacidades de procesamiento multimedia, incluyendo la configuración de codificación para propiedades de audio y video, definiciones complejas de filtergraph para efectos visuales y de audio, y gestión de entrada para concatenar múltiples fuentes. También incluye herramientas para sondear contenedores y flujos multimedia para recuperar metadatos técnicos.

Subsync is a subtitle synchronization tool that aligns subtitle timing to video audio tracks or other synchronized subtitle files. It functions as an audio-based aligner and timing validator to ensure dialogue and captions match during playback. The system utilizes audio-text cross-correlation to match voice activity peaks in audio tracks against subtitle timestamps. It includes a remote media sync client that retrieves files from external servers using standard network protocols for local processing. To ensure accuracy, the tool calculates confidence scores to block updates that fall below

Riverpod is a reactive state management framework for Dart that manages application state through providers which automatically track dependencies and rebuild dependents when values change. It functions as an asynchronous data caching library, caching results of async operations and exposing loading, error, and data states to widgets without manual future handling. The framework includes a provider composition system that combines multiple providers into derived values that recompute automatically when any dependency changes, along with code generation for state providers that reduces boilerpl

Unstract is an unstructured data extraction system and ETL pipeline orchestrator that uses large language models to convert documents, images, and scans into structured JSON. It provides a document extraction API for integrating these capabilities into external automation tools and includes a Model Context Protocol server to connect AI agents to structured information retrieval. The system ensures data accuracy through a verification tool featuring dual-model verification and human-in-the-loop review with coordinate-based document highlighting. It utilizes natural language extraction schemas

This repository provides a collection of reference implementations, toolkits, and orchestration tools for training and deploying large-scale AI models on Cloud TPU hardware. It serves as a framework for managing the lifecycle of accelerator clusters, including hardware orchestration and the provisioning of high-performance compute infrastructure for machine learning workloads. The project specifically enables the pre-training of foundation models, large language models, and complex reasoning architectures through distributed training toolkits and multi-host scaling recipes. It further provide

zvec is an embedded vector database engine and indexing library designed for high-dimensional similarity search. It functions as a hybrid search engine and a retrieval-augmented generation knowledge base, allowing for the storage and retrieval of dense and sparse vectors. The system is distinguished by its hybrid retrieval pipeline, which fuses vector similarity, full-text keyword matching, and scalar metadata filtering into single query operations. It supports a plugin-based model integration system for registering custom embedding models and rerankers, as well as language bindings for nativ

Mixitup es una librería de animación de elementos DOM sin dependencias y motor de layout de rejilla. Sirve como un controlador de UI basado en datos y filtro de contenido del lado del cliente diseñado para gestionar la transición visual suave de elementos HTML durante operaciones de inserción, eliminación y ordenamiento. El sistema se especializa en la creación de interfaces de galería interactivas y filtrado de contenido dinámico. Permite la reorganización de elementos utilizando atributos personalizados o secuencias aleatorias, mientras sincroniza la disposición y visibilidad de los elementos de la interfaz con un modelo de datos subyacente. Más allá del filtrado y ordenamiento, la librería cubre la gestión de elementos DOM, incluyendo la inserción y eliminación dinámica de objetivos. Proporciona capacidades para animar el redimensionamiento de contenedores, definir efectos de animación personalizados y utilizar escalonamientos no lineales para las apariciones de elementos.

snarkOS es un entorno de ejecución distribuido y blockchain de prueba de conocimiento cero (zero-knowledge proof) diseñado para desplegar y gestionar aplicaciones que dependen de primitivas criptográficas de conocimiento cero. Funciona como un libro mayor descentralizado que utiliza pruebas de conocimiento cero para verificar transiciones de estado y transacciones sin revelar datos privados. El sistema utiliza una red de consenso de cuentas vinculadas donde los validadores bloquean activos como garantía para asegurar un estado global. Cuenta con un libro mayor de estado cifrado para rastrear datos de la aplicación de forma privada y un probador acelerado por GPU que descarga cálculos criptográficos pesados al hardware gráfico para aumentar la velocidad de prueba. El proyecto proporciona una jerarquía de nodos basada en roles que consiste en nodos validadores, centrales y probadores. Su superficie de capacidades cubre la operación de nodos descentralizados, sincronización de red peer-to-peer y la gestión del estado cifrado de la aplicación. Herramientas adicionales incluyen una interfaz de línea de comandos para el control de nodos, telemetría para monitorear la participación en el consenso y la capacidad de arrancar redes de desarrollo locales.

java-tron es una implementación en Java de un nodo completo de la blockchain Tron. Proporciona la infraestructura central para ejecutar un nodo de red, validar transacciones y producir bloques. El proyecto incluye un motor de consenso proof-of-stake, una base de datos de libro mayor distribuido y un runtime de contratos inteligentes para gestionar transiciones de estado on-chain. El sistema se distingue por su soporte para operaciones de nodo completo y ligero, utilizando instantáneas de estado para acelerar la sincronización y reducir los requisitos de hardware. Cuenta con una abstracción de base de datos multi-motor que permite la migración, particionamiento y poda de almacenamiento a través de diferentes discos físicos para optimizar el rendimiento. El software cubre una amplia gama de capacidades de blockchain, incluyendo gestión de activos digitales, gobernanza de red a través de elecciones de representantes y la ejecución de lógica programable a través de una máquina virtual. Expone datos y funciones de blockchain a través de un gateway que admite protocolos HTTP, gRPC y JSON-RPC. El proyecto proporciona herramientas para inicializar nodos de red, desplegar entornos de blockchain privados y gestionar keystores de cuentas cifradas.

Este proyecto es un kit de desarrollo de software de mensajería Java diseñado para facilitar el intercambio de datos en tiempo real entre aplicaciones e intermediarios de mensajes. Funciona como una biblioteca de cliente MQTT, proporcionando las herramientas necesarias para implementar patrones de mensajería de publicación y suscripción dentro de sistemas distribuidos y entornos de dispositivos conectados a internet. La biblioteca se distingue por su enfoque en la conectividad de red resistente y la entrega confiable de mensajes. Gestiona conexiones persistentes a través de máquinas de estado internas que manejan la reconexión automática y los latidos de mantenimiento, asegurando la estabilidad en entornos con acceso intermitente a la red. Las aplicaciones pueden configurar niveles específicos de calidad de servicio para garantizar la integridad de los datos, que van desde el envío y olvido hasta la entrega exactamente una vez, y utilizar configuraciones de última voluntad y testamento para gestionar desconexiones inesperadas del cliente. El marco admite el procesamiento de datos de alto volumen mediante el uso de primitivas de comunicación asíncronas y no bloqueantes. Permite a los desarrolladores enrutar mensajes a través de suscripciones basadas en temas, incluido el soporte para patrones comodín, mientras rastrean el progreso de las operaciones individuales a través de identificadores basados en tokens. La biblioteca se distribuye como un kit de desarrollo Java estándar para su integración en una infraestructura de mensajería e IoT más amplia.