Awesome GitHub RepositoriesUnified GPU Backend Abstractions

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

Chainer is an open-source deep learning framework built around define-by-run automatic differentiation, where computation graphs are constructed dynamically during forward execution. This imperative approach allows networks to be built using standard Python control flow, with gradients computed automatically through reverse-mode differentiation on the dynamically recorded graph. The framework supports GPU acceleration through a NumPy-compatible array backend with CUDA and cuDNN support, and provides a pluggable device abstraction that lets users switch between CPU and GPU computation without c

AidLearning-Framework is an integrated development platform for building and deploying AI applications on ARM-based devices. It combines Android and Linux operating systems running simultaneously on a single device, providing a unified runtime environment for cross-system AI development. The platform includes hardware acceleration across CPU, GPU, and NPU, with a unified API that automatically selects the optimal compute backend for inference. The framework distinguishes itself by enabling Python-based AI projects to be packaged directly into Android APK files for installation on mobile devic

NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha

Thrust es una librería de algoritmos paralelos en C++ que proporciona un conjunto de interfaces inspiradas en la librería estándar para su ejecución en hardware multinúcleo y aceleradores. Sirve como una librería de datos acelerada por CUDA y una interfaz de programación paralela genérica diseñada para permitir el procesamiento de datos de alto rendimiento a través de GPUs y CPUs. El proyecto implementa una capa de abstracción portátil que permite flujos de trabajo de computación heterogénea, permitiendo que la misma lógica de algoritmo central se ejecute en diferentes aceleradores de hardware. Esto se logra mediante un diseño de política de programación genérica y un modelo de ejecución agnóstico al backend que mapea llamadas funcionales de alto nivel a hardware paralelo. La librería cubre una amplia gama de capacidades de computación de alto rendimiento, incluyendo manipulación de datos en paralelo, reducciones numéricas y gestión de memoria de dispositivo. Proporciona herramientas especializadas para transferir datos entre la memoria del sistema host y la memoria discreta del dispositivo para facilitar operaciones a gran escala como ordenamiento y búsqueda.

Deep Java Library es un framework de deep learning para Java y motor de inferencia de modelos para la JVM. Proporciona una API de alto nivel para construir y desplegar modelos de deep learning dentro del ecosistema Java, actuando como un runtime multiplataforma para ejecutar modelos en CPUs, GPUs y dispositivos móviles. La librería es agnóstica al motor, permitiendo a los usuarios cambiar entre diferentes motores de deep learning como PyTorch, TensorFlow y MXNet mientras mantienen una única API unificada. Esto permite el despliegue del mismo modelo en diferentes backends sin cambiar el código de la aplicación. El framework soporta el ciclo de vida completo del machine learning, incluyendo la construcción y entrenamiento de arquitecturas de redes neuronales y la ejecución de inferencia en tiempo real. Incluye capacidades para la inferencia de machine learning distribuida para escalar predicciones a través de tuberías de big data y la capacidad de desplegar modelos como microservicios o dentro de aplicaciones cliente. El sistema cubre una amplia gama de dominios, incluyendo visión por computadora para detección de rostros y clasificación de imágenes, y procesamiento de lenguaje natural para análisis de sentimiento y embeddings de oraciones.