Awesome GitHub RepositoriesIncremental Response Streaming

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

Hono es un framework HTTP minimalista en JavaScript diseñado para construir servidores web a través de múltiples runtimes, incluyendo Node.js, runtimes de edge y plataformas serverless. Funciona como un servidor web cross-runtime y un wrapper de API estándar web, normalizando varios objetos de petición y respuesta de runtime en firmas de Web API estándar. El proyecto sirve como orquestador de middleware HTTP y manejador de peticiones, utilizando un pipeline de peticiones basado en middleware y montaje jerárquico de rutas para crear estructuras de servidor modulares. Se distingue por un wrapper de eventos agnóstico al runtime que garantiza un comportamiento consistente independientemente del entorno de despliegue. El framework cubre una amplia gama de capacidades, incluyendo enrutamiento de peticiones HTTP con captura de parámetros dinámicos, comunicación WebSocket en tiempo real y medidas de seguridad integrales como gestión de CORS y autenticación básica. También proporciona utilidades para la gestión de sesiones mediante cookies, servicio de activos estáticos y gestión de tráfico mediante proxy de peticiones y redirección de URL. El proyecto está implementado en TypeScript.

Este proyecto es un stack de desarrollo contenedorizado y framework de aplicaciones para construir sistemas de generación aumentada por recuperación (RAG). Proporciona un sandbox de IA dockerizado que integra entornos de ejecución de modelos locales, grafos de conocimiento y almacenes vectoriales para permitir la creación de chatbots contextuales. El stack se distingue por su almacén vectorial basado en grafos, que combina grafos de conocimiento estructurados con índices vectoriales para la recuperación de datos tanto semánticos como estructurales. Permite el alojamiento de modelos locales con aceleración de CPU o GPU, facilitando tareas generativas sin depender de APIs externas en la nube. El framework cubre una amplia gama de capacidades, incluyendo el procesamiento e indexación de documentos PDF, la orquestación de servicios de IA basados en contenedores y la implementación de generación de respuestas fundamentadas. Incluye una interfaz de chat basada en web con streaming de respuestas incremental y una interfaz estandarizada para cambiar entre diferentes proveedores de modelos de lenguaje. El entorno se inicializa mediante orquestación de contenedores para desplegar rápidamente un stack preconfigurado de modelos y bases de datos.

Rack es una interfaz mínima que estandariza cómo los servidores web y frameworks de Ruby se comunican. Proporciona una interfaz de aplicación web y una interfaz de servidor web, permitiendo que las aplicaciones Ruby se ejecuten en diferentes implementaciones de servidor mediante el uso de un hash de entorno común y una tupla de respuesta estandarizada. El proyecto implementa un pipeline de middleware HTTP modular, permitiendo que las solicitudes y respuestas sean interceptadas y modificadas a través de una secuencia de objetos invocables. Soporta la gestión de conexiones de bajo nivel, incluyendo el secuestro de conexiones TCP para manejo de protocolos personalizados, señalización de actualización de protocolo y streaming de datos bidireccional. La superficie de capacidades se extiende al manejo de solicitudes y respuestas, incluyendo lectura de flujo de solicitudes binarias y streaming de respuestas incremental. Proporciona herramientas para la gestión de sesiones, enrutamiento de rutas de aplicación y la entrega de archivos estáticos desde el sistema de archivos local. Para el aseguramiento de calidad, incluye utilidades para simular tráfico HTTP y entornos de servidor. El proyecto incluye una herramienta de línea de comandos para lanzar servidores web compatibles para alojar aplicaciones.

opennextjs-aws es un adaptador de infraestructura serverless y herramienta de despliegue que transforma los artefactos de build de Next.js en paquetes compatibles para su alojamiento en AWS Lambda y S3. Funciona como un adaptador de despliegue que mapea las salidas específicas del framework a funciones serverless y almacenamiento de objetos. El proyecto se distingue por implementar optimizaciones específicas para serverless, incluyendo un gestor de caché que sincroniza la regeneración estática incremental y las cachés de fetch a través de S3 o DynamoDB. Cuenta con un optimizador de cold start que utiliza minificación de bundles y calentamiento programado de funciones para reducir la latencia, junto con un pipeline de optimización de imágenes dedicado para obtener archivos fuente de S3 y entregarlos a través de CDN. El sistema cubre una amplia gama de capacidades, incluyendo integración de middleware en el edge, revalidación en segundo plano basada en colas y distribución de rutas multi-objetivo. También gestiona el tráfico a través de enrutamiento CDN, inyección de datos de geolocalización y streaming de respuestas del servidor para mejorar el tiempo hasta el primer byte (TTFB). La herramienta proporciona amplias opciones de personalización para pipelines de build, comportamientos de adaptadores y lógica de servidor para soportar necesidades arquitectónicas variadas y estructuras de monorepo.

WuKongIM es un servidor de mensajería instantánea distribuido diseñado para chat y notificaciones en tiempo real. Funciona como un clúster de comunicación descentralizado que utiliza un router de mensajes pub-sub para distribuir datos a usuarios individuales y canales de grupo a gran escala. El sistema incluye un protocolo de streaming de chat de IA especializado para entregar respuestas incrementales de baja latencia desde agentes de inteligencia artificial. También cuenta con una puerta de enlace de eventos webhook que reenvía cambios de estado de comunicación y eventos de mensajes a aplicaciones de negocio externas mediante callbacks. La plataforma proporciona infraestructura para comunicación grupal de alta capacidad, sincronización de mensajes entre dispositivos y seguimiento de conversaciones basado en estados. La seguridad se gestiona mediante cifrado en la capa de transporte y acceso a canales basado en permisos, mientras que la fiabilidad del sistema se mantiene mediante failover automatizado, recuperación ante desastres y monitoreo de salud basado en latidos (heartbeat).

exllamav2 es un motor de inferencia de alto rendimiento y framework para ejecutar modelos de lenguaje grandes localmente en GPUs de clase consumidor. Proporciona un sistema completo para el despliegue de modelos locales, incluyendo un motor de inferencia especializado y herramientas para la cuantización de modelos. El proyecto cuenta con un framework de inferencia multi-GPU que distribuye las cargas de trabajo entre múltiples tarjetas gráficas para ejecutar modelos que exceden la capacidad de memoria de un solo dispositivo. Incluye un cuantizador de modelos de GPU capaz de convertir modelos a formatos de precisión mixta de entre 2 y 8 bits para equilibrar el uso de memoria y la precisión. El motor admite la generación de texto de alto rendimiento mediante inferencia paralela basada en lotes y streaming de salida asíncrono. Estas capacidades están respaldadas por kernels CUDA personalizados y deduplicación de caché para optimizar el uso del hardware y reducir la latencia durante la generación de tokens.

vue-meta es un gestor de metadatos para aplicaciones Vue.js que coordina la inyección, deduplicación y fusión de etiquetas HTML head y body. Sirve como un controlador de cabecera de documento, permitiendo a los desarrolladores definir y actualizar títulos, meta etiquetas, etiquetas link, estilos y scripts dentro de una arquitectura de componentes tanto en entornos del lado del cliente como del servidor. La biblioteca se distingue por un sistema de fusión jerárquico donde los componentes hijos pueden sobrescribir metadatos definidos por componentes padres. Asegura la integridad del documento utilizando deduplicación basada en identificadores para prevenir etiquetas duplicadas y emplea un sistema de coordinación para gestionar metadatos de múltiples instancias de aplicación independientes en una sola página. Sus capacidades más amplias incluyen optimización para motores de búsqueda (SEO) mediante inyección de metadatos del lado del servidor, la inserción de datos JSON estructurados saneados y enlace de metadatos dinámico que resuelve valores basados en el estado del componente. El rendimiento se aborda mediante el procesamiento por lotes de requestAnimationFrame para prevenir parpadeos y streaming de respuesta incremental para renderizado del lado del servidor. El proyecto proporciona utilidades para la generación de metadatos estáticos para producir cadenas de plantillas HTML sin requerir una instancia de componente en vivo.

Apollo Kotlin is a strongly-typed GraphQL client and code generation library designed for Kotlin and JVM applications. It functions as a comprehensive development tool that transforms GraphQL schema definitions and query documents into type-safe models during the build process, ensuring that data access errors are identified at compile time rather than at runtime. The project distinguishes itself through its multiplatform runtime abstraction, which allows developers to share data fetching and caching logic across Android, iOS, and desktop environments. It provides a normalized local caching s

Apollo Android es una biblioteca cliente de GraphQL con tipado fuerte para ejecutar consultas y mutaciones a través de JVM, Android y Kotlin Multiplatform. Incluye una herramienta de generación de código que crea clases inmutables y analizadores a partir de esquemas de GraphQL y archivos de operación para asegurar la seguridad de tipos en tiempo de compilación. El proyecto cuenta con una caché normalizada que aplana las respuestas en una tabla de búsqueda para mantener una única fuente de verdad. También proporciona un cliente de suscripción para actualizaciones de datos del lado del servidor en tiempo real a través de conexiones WebSocket o SSE y un framework de mocking para simular respuestas del servidor y generar datos falsos con tipado fuerte para pruebas. La biblioteca cubre una amplia gama de capacidades, incluyendo optimización de red mediante el procesamiento por lotes de solicitudes y consultas persistentes, así como la gestión del estado de datos locales con actualizaciones optimistas y paginación. Soporta la integración de motores HTTP personalizados y el mapeo de tipos escalares personalizados a clases de lenguaje nativo. La herramienta se integra con IDEs de desarrollo para proporcionar generación automática de código y navegación desde el editor hasta las definiciones.

react-server is a server-side rendering framework for building universal web applications. It serves as a hydration engine and HTML renderer that executes component logic on both the server and the client to synchronize application state. The project focuses on streaming content delivery, allowing page content to be sent to the browser in fragments as they become available. This approach is combined with server-side HTML generation to improve initial load speeds and search engine indexing. The framework also includes capabilities for automated asset bundling and universal component execution

LazyLLM is a multi-agent framework and orchestration engine designed for building complex AI applications. It provides a system for chaining large language models into sequential or parallel pipelines, utilizing a tool registry to convert standard functions into discoverable tools that models can invoke via reasoning. The project features an application deployment kit that enables hosting model workflows as web services with integrated chat interfaces and API gateways. It includes an infrastructure abstraction layer that allows users to switch between bare-metal servers, clusters, and public

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external

This library provides a framework for building custom template systems and rendering dynamic content within web applications. It offers a set of standardized interfaces and tools designed to handle the parsing of template files, the transformation of data into structured output, and the management of template loading from various storage locations. The component distinguishes itself through a modular architecture that supports incremental output streaming, which processes content in chunks to reduce memory usage and improve response times. It also includes integrated security features that au