Awesome GitHub RepositoriesWorkload Density Optimization

KServe is an open platform for deploying and serving generative and predictive AI models on Kubernetes. It defines inference services as custom resources with declarative YAML specifications, enabling a Kubernetes-native approach to model deployment and lifecycle management. The platform leverages Knative-based serverless scaling for automatic scale-to-zero and revision management, and supports a pluggable serving runtime architecture that maps model formats to containerized execution environments. KServe distinguishes itself through model-aware autoscaling that scales replicas based on token

Este proyecto proporciona hojas de ruta estratégicas y guías que detallan la evolución y los patrones de despliegue de servicios gestionados de orquestación de contenedores y seguridad. Sirve como un documento de seguimiento público para las próximas características y prioridades de desarrollo para EKS, ECS, ECR y Fargate. El recurso incluye una guía de orquestación de contenedores en la nube y una estrategia para Kubernetes y ECS, describiendo el desarrollo de Kubernetes gestionado y servicios de orquestación propietarios para infraestructura en la nube. También proporciona un plan de seguridad y monitorización centrado en el escaneo de actividad maliciosa y el seguimiento de la salud de las cargas de trabajo. El material cubre una amplia gama de capacidades de infraestructura, incluyendo aprovisionamiento de recursos, escalado automático de cómputo y tareas, y gestión de imágenes de contenedor. Aborda la gestión de redes y tráfico mediante balanceo de carga y optimización de densidad de pods, así como la observabilidad mediante enrutamiento de logs y seguimiento de rendimiento.