2 repositorios
Awesome GitHub RepositoriesData Loading Accelerators
Optimizations for reducing data ingestion latency through lazy decoding and parallel metadata retrieval.
Distinct from Parallel Data Loading: Candidates focus on UI lazy loading or specific audio pre-loading; this is a general framework-level acceleration for ML data.
Explore 2 awesome GitHub repositories matching data & databases · Data Loading Accelerators. Refine with filters or upvote what's useful.
Awesome Data Loading Accelerators GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- tensorflow/datasets
tensorflow/datasets
4,575Ver en GitHubThis project is a dataset management framework and cross-framework data loader that provides a unified interface for reading data formats compatible with TensorFlow, JAX, and PyTorch. It serves as a library of curated public datasets provided as data streams and includes tools for building, versioning, and documenting large-scale datasets. The system differentiates itself through a distributed data processing engine capable of managing massive datasets across clusters using parallelized pipelines. It utilizes builder-based construction to standardize how data is downloaded and prepared, while
Increases loading speed using partial decoding, parallel metadata retrieval, and in-memory caching.
Python - pytorch/serve
pytorch/serve
4,354Ver en GitHubEste proyecto es un framework de servicio de modelos de PyTorch diseñado para desplegar y escalar modelos de machine learning en producción a través de endpoints de red escalables. Funciona como un servidor de inferencia de alto rendimiento, optimizador y gestor del ciclo de vida del modelo que maneja la carga de modelos, el procesamiento por lotes (batching) de solicitudes y la aceleración por hardware. El sistema se distingue por sus capacidades avanzadas de orquestación y optimización, como el encadenamiento de múltiples modelos en flujos de trabajo secuenciales mediante grafos de ejecución y el uso de procesamiento por lotes dinámico para mejorar el rendimiento y la latencia. Proporciona soporte especializado para IA generativa y modelos de lenguaje de gran tamaño (LLM) mediante procesamiento por lotes continuo y paralelismo de tensores. Las áreas de capacidad incluyen la gestión de recursos de GPU en hardware diverso como NVIDIA, AMD y Apple Silicon, así como una gestión integral del ciclo de vida del modelo para registro, versionado y escalado de trabajadores. También integra herramientas de observabilidad para rastrear la salud del sistema y el rendimiento del modelo mediante métricas compatibles con Prometheus. El servidor se gestiona a través de una interfaz de línea de comandos utilizada para el control del ciclo de vida y la configuración de parámetros de tiempo de ejecución.
Accelerates media data loading and preprocessing using optimized building blocks to eliminate bottlenecks.
Java
