7 repositorios
Processes large datasets that exceed CPU memory using single or multiple GPUs, including multi-node clusters.
Distinct from Large-Scale Dataset Management: Distinct from Large-Scale Dataset Management: focuses on GPU-accelerated processing of datasets, not storage management.
Explore 7 awesome GitHub repositories matching data & databases · GPU-Accelerated Processing. Refine with filters or upvote what's useful.
Backgroundremover is an AI-powered tool that removes backgrounds from both images and videos, accessible through a command-line interface and a Python API. At its core, it uses a pre-trained deep learning model to classify each pixel as foreground or background, producing a binary mask for removal. The tool distinguishes itself through multiple integration methods and output capabilities. It can process images and videos via Unix pipeline data streams, operate as an HTTP API server, or be called programmatically within Python scripts. Users can choose among different AI models to balance proc
Uses GPU acceleration for parallel batch processing of frames with configurable batch size and worker count.
Processes datasets that overwhelm CPU memory by leveraging single or multiple GPUs, including multi-node clusters via Apache Spark.
cuml es una librería y framework de aprendizaje automático acelerado por GPU que utiliza CUDA para acelerar el preprocesamiento de datos tabulares y la ejecución de modelos. Proporciona un conjunto de herramientas para entrenar y desplegar modelos de clasificación, regresión y agrupamiento en GPUs de NVIDIA y clústeres de GPU. La librería está diseñada para la escalabilidad, ofreciendo un entorno de aprendizaje automático de GPU distribuido que puede repartir la computación y los datos a través de múltiples aceleradores de hardware y nodos para manejar conjuntos de datos que exceden la memoria de un solo dispositivo. Refleja las interfaces de estimador estándar para permitir el reemplazo de modelos basados en CPU con versiones aceleradas por GPU dentro de los flujos de trabajo existentes. El proyecto cubre una amplia gama de capacidades de aprendizaje automático, incluyendo aprendizaje supervisado, agrupamiento no supervisado, búsqueda de vecinos más cercanos y reducción de dimensionalidad de alta dimensión. También incluye preprocesamiento de datos tabulares acelerado por hardware para escalado y codificación de características, extracción de características de texto, análisis de series temporales y explicabilidad de predicción de modelos. Las utilidades de soporte incluyen herramientas para la generación de conjuntos de datos sintéticos, serialización del estado del modelo y el cálculo de métricas de rendimiento del modelo.
Processes large datasets exceeding single-device memory by spreading computation across multiple GPUs and nodes.
Thrust es una biblioteca de computación heterogénea y una biblioteca de plantillas de C++ que proporciona una colección de plantillas de alto nivel para ejecutar operaciones de datos en paralelo. Funciona como una biblioteca de algoritmos paralelos diseñada para trabajar en diferentes backends de hardware, incluyendo CPUs multinúcleo y hardware de GPU NVIDIA. El framework utiliza una implementación de solo cabeceras y una interfaz de políticas de programación genérica para abstraer las diferencias entre los modelos de memoria y ejecución de CPU y GPU. Emplea una abstracción de datos basada en iteradores para proporcionar una interfaz uniforme para acceder a elementos a través de la RAM del host y la VRAM del dispositivo. La biblioteca cubre capacidades de procesamiento paralelo, incluyendo la clasificación de datos en paralelo y el procesamiento de reducción agregada para calcular valores en grandes conjuntos de datos. Estas operaciones se gestionan a través de una biblioteca de programación paralela CUDA para computación de alto rendimiento en hardware GPU.
Facilitates GPU-accelerated processing by moving large datasets to parallel hardware for fast computation.
This repository provides a curated collection of self-contained Python code examples that demonstrate the core capabilities of the PyTorch deep learning framework. The examples cover automatic differentiation, dynamic computational graphs, GPU‑accelerated tensor operations, and training of neural network models using gradient‑based optimization. The code samples illustrate PyTorch’s dynamic graph construction, where models can change structure with native control flow, and its automatic gradient computation through reverse‑mode differentiation. Additional examples show how to work with tensor
Enables GPU-accelerated tensor operations via CUDA backend for parallel computation.
Stumpy es una librería de Python para análisis de series temporales escalable centrada en la implementación de algoritmos de perfil de matriz (matrix profile). Proporciona un framework para calcular perfiles de distancia para identificar patrones repetitivos y anomalías dentro de datos de series temporales. El proyecto se distingue por su capacidad para escalar cálculos pesados a través de hardware GPU y clusters distribuidos utilizando Dask. Admite análisis multidimensional para descubrir motivos a través de flujos de datos concurrentes y ofrece computación incremental para análisis de streaming en tiempo real. La librería cubre una amplia gama de técnicas de minería de series temporales, incluyendo descubrimiento de motivos, detección de anomalías y coincidencia de patrones de secuencia. También proporciona herramientas para segmentación semántica para detectar cambios de régimen y la extracción de cadenas ordenadas temporalmente de patrones de subsecuencia similares.
Offloads complex matrix calculations to GPU hardware to reduce processing time for large datasets.
The compute runtime is a software layer that provides unified interfaces for parallel processing, kernel execution, and hardware-specific driver communication. It functions as a driver for OpenCL and OneAPI Level Zero, enabling the execution of data-intensive workloads across diverse graphics hardware architectures. The project distinguishes itself by maintaining consistent performance and compatibility across multiple generations of graphics hardware. It achieves this through a hardware abstraction layer that bridges high-level compute instructions with specific silicon capabilities, alongsi
Offloads complex mathematical and data-heavy tasks to graphics processors to reduce execution time and improve overall system throughput.