Awesome GitHub RepositoriesTensor Slicing

Torch7 is a scientific computing environment and tensor computation library used for deep learning research and numerical analysis. It functions as a Lua-based framework for training neural networks and learning agents, providing a toolkit for implementing architectures and training through reinforcement learning algorithms. The project is distinguished by its tight integration with C, utilizing a binding layer to map high-level scripting to low-level C structures for direct memory access. It supports hardware-accelerated computation by offloading linear algebra and convolution operations to

ArrayFire ist ein hardware-agnostisches Compute-Framework und eine JIT-kompilierte Tensor-Engine für numerische Hochleistungsberechnungen. Es dient als GPU-Bibliothek für numerische Berechnungen und Toolkit für parallele Signalverarbeitung, das Hardware-Backends abstrahiert und es ermöglicht, denselben Code auf verschiedenen GPU-Architekturen und CPUs auszuführen. Das Projekt zeichnet sich durch eine JIT-Engine aus, die Ausdruckskompilierung verwendet, um Operationen zu verschmelzen und den Speicher-Overhead zu minimieren. Es nutzt einen verzögerten Ausführungsgraphen zur Optimierung von Berechnungsketten und bietet Interoperabilitäts-Primitive, um Daten und Ausführungskontexte mit externen Compute-Plattformen wie CUDA und OpenCL zu teilen. Die Bibliothek deckt ein breites Spektrum an Fähigkeiten ab, einschließlich paralleler linearer Algebra, digitaler Signalverarbeitung und beschleunigter Computer Vision. Sie bietet Werkzeuge für die Implementierung von maschinellem Lernen, Simulationen für Finanzmodelle und die Lösung partieller Differentialgleichungen für physikalische Systemsimulationen. Das Tensor-Managementsystem verwaltet die Zuweisung mehrdimensionaler Arrays, Slicing sowie Datentransfers zwischen Host und Gerät.

gpu.cpp ist eine leichtgewichtige C++-Bibliothek zur Ausführung von Low-Level-General-Purpose-GPU-Berechnungen über verschiedene Hardwareanbieter und Betriebssysteme hinweg. Sie fungiert als portabler GPU-Wrapper, Kernel-Orchestrator und Tensor-Managementsystem unter Verwendung der WebGPU-Spezifikation, um Geräteinitialisierung, Pufferübertragungen und Compute-Shader-Dispatching zu abstrahieren. Die Bibliothek bietet ein Framework zur Definition von Compute-Kerneln aus Shader-Code und zur Verwaltung ihrer asynchronen Ausführung und Synchronisation. Sie ermöglicht die Ausführung plattformübergreifender Compute-Shader und die Orchestrierung von GPU-Aufgaben durch eine standardisierte Grafikprozessor-Spezifikation. Das System handhabt den gesamten Lebenszyklus von GPU-Speicher, einschließlich der Allokation mehrdimensionaler Tensoren, bidirektionaler Datenbewegung zwischen Host und Gerät über Staging-Puffer sowie Ressourcen-Tracking zur Vermeidung von Speicherlecks. Es unterstützt zudem Tensor-Slicing zur Erstellung nicht-besitzender Views von Speichersegmenten und enthält Dienstprogramme für System-Message-Logging und Schweregrad-Filterung.

Safetensors is a secure tensor serialization format and library designed for storing and distributing model weights. Its primary purpose is to provide a safe file format for machine learning tensors that prevents the execution of arbitrary or malicious code during the deserialization process. The project is distinguished by its use of zero-copy memory mapping, which reads data from disk directly into memory to minimize overhead. It enables cross-framework compatibility, allowing tensor data to be serialized and deserialized across different machine learning libraries. The system covers high-