Awesome GitHub RepositoriesAutomatic Batch Size Optimization

OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Composer est un framework d'entraînement distribué PyTorch conçu pour mettre à l'échelle des modèles de grande taille sur des clusters GPU multi-nœuds. Il fonctionne comme un entraîneur de grands modèles de langage, un optimiseur de modèle distribué et un gestionnaire de cycle de vie d'entraînement. Le projet se différencie en tant que bibliothèque de régularisation pour le deep learning, fournissant des techniques d'optimisation spécialisées telles que Sharpness Aware Minimization, MixUp et CutMix pour améliorer la généralisation des modèles. Il distingue davantage son flux d'entraînement par l'utilisation du warmup de longueur de séquence, du gel progressif des couches et du checkpointing d'état fragmenté pour la récupération de modèles à grande échelle. Le framework couvre une large surface de capacités, incluant l'orchestration de l'entraînement distribué, la gestion du matériel en précision mixte et le streaming de données cloud-native. Il fournit également des outils étendus de surveillance et d'observabilité pour les diagnostics de mémoire GPU, la détection de divergence d'entraînement et le suivi du débit. Le projet inclut un lanceur en ligne de commande pour automatiser l'exécution de tâches d'entraînement multi-GPU sur plusieurs nœuds.

Ce projet est un groupe de travail logiciel collaboratif et une piste de publication axée sur le développement technique et le déploiement de la mise à jour de la bibliothèque React 18. Il sert d'effort de coordination communautaire et de forum de discussion pour gérer les jalons et les ensembles de fonctionnalités de cette version majeure du framework frontend. Le groupe de travail facilite la coordination des versions open source et la planification des versions logicielles via un groupe distribué de contributeurs. Il se concentre sur la collecte des retours techniques de la communauté et la gestion des discussions publiques pour affiner le code et la documentation de la bibliothèque avant une publication officielle. La portée du développement couvre le rendu d'interface utilisateur concurrent, la gestion d'état frontend et l'affinement de la logique interne de réconciliation et de rendu.

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis

llm-d is a distributed serving framework designed for large language model inference. It functions as an inference orchestrator and gateway, providing a control plane for deploying model replicas and managing hardware accelerators. The system includes a batch inference scheduler and a cache manager to coordinate request flow and memory utilization. The project is distinguished by a disaggregated serving architecture that separates prefill and decode execution phases across specialized workers to maximize throughput. It employs a hardware-agnostic control plane and tiered cache offloading, mov