Awesome GitHub RepositoriesWorkload Simulations

LMCache is a distributed key-value cache manager and tiering system designed to accelerate large language model inference. It functions as a tiered storage layer that offloads tensors from GPU memory to CPU RAM, local disks, or remote object stores, enabling the reuse of cached prefixes across different inference sessions and serving engines. The system differentiates itself through a disaggregated prefill-decode model, which separates prompt processing from token generation by transferring caches between distributed compute nodes. It utilizes peer-to-peer orchestration to share and retrieve

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

Este proyecto es un optimizador de rendimiento y evaluador de recursos para AWS Lambda. Analiza el equilibrio entre la velocidad de ejecución y el costo probando varias configuraciones de memoria para identificar los ajustes más rentables y minimizar el gasto operativo. La herramienta utiliza un orquestador de AWS Step Functions para automatizar la ejecución y la recopilación de datos de múltiples pruebas de funciones en diferentes niveles de potencia. Simula cargas de trabajo de producción inyectando datos estáticos o remotos personalizados y utilizando una distribución de carga útil ponderada para imitar patrones de tráfico del mundo real. La suite cubre varias áreas de capacidad, incluyendo muestreo iterativo de memoria y modelado de costos basado en métricas para visualizar las compensaciones de rendimiento. Proporciona limpieza automatizada de recursos para versiones y alias de funciones temporales, configuración de red privada para recursos internos restringidos y carga de carga útil remota para evitar límites de tamaño de invocación estándar. El despliegue se maneja mediante construcciones de infraestructura como código (IaC) para garantizar una configuración de entorno consistente y repetibilidad.