5 repositorios
Libraries for manipulating and analyzing tabular datasets using GPU acceleration.
Distinct from GPU Acceleration Libraries: Existing candidates focus on general acceleration or plotting, not the specific dataframe API identity.
Explore 5 awesome GitHub repositories matching data & databases · GPU DataFrame Libraries. Refine with filters or upvote what's useful.
cuDF is a GPU-accelerated dataframe library and data processing engine designed for manipulating and analyzing large tabular datasets. It provides a high-level API for executing filtering, joining, and aggregating operations directly on GPU hardware. The project integrates the Apache Arrow memory format to enable zero-copy data transfers and includes a just-in-time compiler for executing custom user-defined functions on the GPU. The library features specialized acceleration for existing workflows by redirecting standard Pandas dataframe calls and Polars query plans to a GPU backend. It also p
Provides a GPU-accelerated library for manipulating and analyzing large tabular datasets.
Accelerates pandas, Polars, and Apache Spark DataFrame operations on NVIDIA GPUs with no code changes.
AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en
Offloads analytical queries to a columnar engine for faster execution than the standard row-based engine.
Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs
Accelerates OLAP queries through columnar storage, distributed processing, and GPU acceleration.
Jetson Containers es un sistema de gestión de contenedores que construye y ejecuta imágenes de Docker aceleradas por GPU para cargas de trabajo de aprendizaje automático en hardware de borde ARM64. Funciona como un orquestador de contenedores CUDA, detectando automáticamente la versión del kit de herramientas CUDA del host y las capacidades de la GPU para garantizar la compatibilidad del contenedor en tiempo de ejecución, mientras selecciona la imagen de contenedor correcta haciendo coincidir la versión de JetPack o L4T del host en el momento del lanzamiento. El proyecto ofrece contenedores preconfigurados para ejecutar modelos de lenguaje grandes cuantizados y tuberías de generación aumentada por recuperación optimizadas para dispositivos de borde, junto con contenedores integrados de ROS y marcos de IA para desplegar agentes autónomos y procesamiento multimodal. Su sistema de construcción en capas modular ensambla imágenes de Docker a partir de capas reutilizables preconstruidas, compilando marcos de IA/ML desde la fuente para optimizarlos para arquitecturas de GPU de borde específicas y versiones de CUDA, con almacenamiento en caché de ruedas local para acelerar las construcciones posteriores. La plataforma proporciona contenedores de Docker preconstruidos con versiones aceleradas por GPU de PyTorch, TensorFlow, JAX y ONNX Runtime para plataformas Jetson, lo que admite capacidades como la ejecución de LLM, modelos de voz, modelos de visión-lenguaje y traducción automática neuronal en hardware de borde. También permite construir contenedores personalizados con paquetes de IA acelerados por GPU, ejecutar contenedores de Triton Inference Server y Transformer Engine, y acelerar los flujos de trabajo de ciencia de datos con bibliotecas RAPIDS.
Use a cuDF-based DataFrame library that runs on NVIDIA GPUs for accelerated data manipulation and analysis.