Awesome GitHub RepositoriesBatch Size Tuning

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Composer es un framework de entrenamiento distribuido para PyTorch diseñado para escalar modelos a gran escala en clústeres de GPU multi-nodo. Funciona como un entrenador de modelos de lenguaje de gran tamaño (LLM), un optimizador de modelos distribuidos y un gestor del ciclo de vida de entrenamiento. El proyecto se diferencia como una biblioteca de regularización para deep learning, proporcionando técnicas de optimización especializadas como Sharpness Aware Minimization, MixUp y CutMix para mejorar la generalización del modelo. Además, distingue su flujo de entrenamiento mediante el uso de warmup de longitud de secuencia, congelación progresiva de capas y checkpointing de estado fragmentado (sharded-state) para la recuperación de modelos a gran escala. El framework cubre una amplia superficie de capacidades, incluyendo la orquestación de entrenamiento distribuido, la gestión de hardware de precisión mixta y el streaming de datos cloud-native. También proporciona herramientas extensas de monitoreo y observabilidad para diagnósticos de memoria de GPU, detección de divergencia en el entrenamiento y seguimiento del rendimiento (throughput). El proyecto incluye un lanzador de línea de comandos para automatizar la ejecución de trabajos de entrenamiento multi-GPU entre nodos.

Este proyecto es un grupo de trabajo de software colaborativo y una pista de lanzamiento centrada en el desarrollo técnico y el despliegue de la actualización de la librería React 18. Sirve como un esfuerzo de coordinación comunitaria y foro de discusión para gestionar los hitos y conjuntos de funciones de esta versión del framework frontend. El grupo de trabajo facilita la coordinación de lanzamientos de código abierto y la planificación de versiones de software a través de un grupo distribuido de colaboradores. Se centra en recopilar comentarios técnicos de la comunidad y gestionar discusiones públicas para refinar el código y la documentación de la librería antes de un lanzamiento formal. El alcance del desarrollo cubre el renderizado concurrente de la interfaz de usuario, la gestión del estado del frontend y el refinamiento de la lógica interna de reconciliación y renderizado.

oneDNN es una biblioteca para la aceleración del aprendizaje profundo que proporciona bloques de construcción optimizados para el entrenamiento e inferencia de redes neuronales. Gestiona la computación de tensores a través de hardware CPU y GPU, permitiendo la ejecución de primitivas de alto rendimiento para el entrenamiento de modelos y la optimización de la inferencia de redes neuronales. El proyecto se distingue por la optimización de kernels específica para el hardware y el uso de compilación just-in-time para apuntar a conjuntos de instrucciones de procesador específicos. Soporta la ejecución de redes neuronales cuantizadas utilizando cuantización estática y dinámica para reducir el uso de memoria y aumentar el rendimiento. La biblioteca cubre una amplia gama de capacidades, incluyendo primitivas de aprendizaje profundo como convoluciones, multiplicación de matrices y ejecución de redes neuronales recurrentes. Implementa optimizaciones de rendimiento avanzadas, incluyendo fusión de operaciones, optimización de grafos de computación y gestión de formatos de memoria. La integración se proporciona a través de una ABI C estable y un wrapper C++, con soporte para SYCL, OpenCL y bibliotecas de álgebra lineal externas. El sistema incluye herramientas de observabilidad para la creación de perfiles de rendimiento de hardware, benchmarking de primitivas y registro de ejecución detallado.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

llm-d is a distributed serving framework designed for large language model inference. It functions as an inference orchestrator and gateway, providing a control plane for deploying model replicas and managing hardware accelerators. The system includes a batch inference scheduler and a cache manager to coordinate request flow and memory utilization. The project is distinguished by a disaggregated serving architecture that separates prefill and decode execution phases across specialized workers to maximize throughput. It employs a hardware-agnostic control plane and tiered cache offloading, mov