33 Repos
Tools that perform element-wise operations and shape manipulations on tensor data structures.
Explore 33 awesome GitHub repositories matching data & databases · Tensor Transformations. Refine with filters or upvote what's useful.
TensorFlow is a comprehensive machine learning framework designed for the construction, training, and deployment of complex mathematical models. It utilizes a graph-based execution model that represents operations as directed acyclic graphs, enabling automatic differentiation and efficient parallel processing. The system provides high-level interfaces for defining neural network architectures, alongside a robust engine for managing multidimensional array structures and tensor mathematics. The framework distinguishes itself through a scalable distributed runtime that orchestrates workloads acr
Applies optimized routines to perform element-wise operations and shape manipulations on multi-dimensional data structures.
Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati
Converts raw image annotations into standardized tensor formats for consistent model training.
This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex
Converts processed numerical datasets into framework-specific tensor formats for model computation.
This project is a comprehensive educational resource and programming course covering C++ language semantics and features from C++03 through C++26. It provides structured tutorials and technical guides focused on modern C++ development. The material offers specialized instruction on template metaprogramming, including the use of type traits and compile-time computations. It features detailed guides on concurrency and parallelism for multi-core execution, as well as a reference for software design applying SOLID principles and RAII. Additionally, it covers build performance optimization to redu
Provides instruction on representing matrices and tensors using non-owning views that map indices to linear memory.
MNN is a high-performance inference engine and framework designed for on-device machine learning. It provides a comprehensive environment for executing, optimizing, and deploying neural network models directly on mobile and resource-constrained edge devices. The framework distinguishes itself through a robust model optimization toolkit that supports quantization, compression, and structural graph manipulation to minimize memory footprint and maximize execution speed. It features a modular architecture that abstracts hardware-specific backends, allowing models to run efficiently across diverse
Modifies tensor values using element-wise scaling, bias addition, or padding to prepare numerical data for inference.
This is a collection of tutorials and practical demonstrations for implementing machine learning tasks using the HuggingFace Transformers library. It serves as a guide for applying transformer architectures across computer vision, natural language processing, and audio analysis. The repository provides implementation examples for multimodal model deployment, including the combination of text, image, and audio inputs. It includes resources for optimizing pre-trained models through fine-tuning on custom datasets and provides examples for preparing PyTorch datasets by converting raw files into t
Provides examples for converting raw input files into tensors and batches for efficient model processing.
This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque
Provides comprehensive instructions for performing tensor reshaping, squeezing, and transposing operations.
Einops is a tensor manipulation library that provides a framework-agnostic interface for reshaping, Einstein summation, and multi-dimensional array operations. It serves as an abstraction layer that works across NumPy, PyTorch, TensorFlow, and JAX, allowing for tensor transformations without changing the API. The library distinguishes itself through a declarative notation system that uses readable string patterns to describe tensor rearrangements and reductions. This approach includes an extended Einstein summation interface that supports multi-letter axis names and a named dimension mapping
Combines tensors of varying shapes into a single array and tracks their shapes for later restoration.
Torch7 is a scientific computing environment and tensor computation library used for deep learning research and numerical analysis. It functions as a Lua-based framework for training neural networks and learning agents, providing a toolkit for implementing architectures and training through reinforcement learning algorithms. The project is distinguished by its tight integration with C, utilizing a binding layer to map high-level scripting to low-level C structures for direct memory access. It supports hardware-accelerated computation by offloading linear algebra and convolution operations to
Collects values from each row of a source tensor based on an index tensor.
jc is a tool that transforms plain-text results from command-line utilities, system tools, log formats, and text tables into structured JSON data. It functions as a structured data transformer capable of converting various file formats, including CSV, INI, XML, and YAML, into JSON representations for programmatic use. The project includes a collection of specific parsers for Unix commands and system tools such as df, blkid, and various package managers. It also features specialized converters for web server logs, Common Log Format, and Common Event Format strings. The tool covers broad capab
Transforms ASCII and Unicode text tables into structured JSON objects by mapping column headers to row values.
This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u
Demonstrates how to transform input tensors using mathematical operations to enable complex pattern learning.
This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Implements adaptive pooling to resize feature maps to a target size regardless of input dimensions.
Flashlight ist eine eigenständige C++-Bibliothek für maschinelles Lernen und Tensor-Berechnungen, die zum Erstellen und Trainieren neuronaler Netze verwendet wird. Sie fungiert als umfassendes Framework für neuronale Netze und Engine für automatische Differenzierung und bietet Werkzeuge zur Konstruktion von Berechnungsgraphen und zur Berechnung von Gradienten via Backpropagation. Das Projekt dient als Framework für verteiltes Training und nutzt All-Reduce-Operationen zur Synchronisation von Gradienten und Parametern über mehrere Rechenknoten und Geräte hinweg. Es zeichnet sich durch eine tiefe Integration von leistungsstarker Tensor-Manipulation, nativer Interoperabilität mit Gerätespeichern und einem System zur Synchronisation von Gewichten über verteilte Worker aus, um das Training großskaliger Modelle zu beschleunigen. Das Framework deckt eine breite Palette an Deep-Learning-Funktionen ab, einschließlich modularer Schichtkomposition für den Entwurf komplexer Architekturen wie Residual-Blöcke und rekurrente Zellen. Es bietet umfangreiche Datenmanagement-Utilities für Ingestion und Prefetching sowie Serialisierungssysteme zur Persistierung von Modellzuständen. Zusätzlich enthält es eine Suite an Überwachungs- und Observability-Tools zur Verfolgung von Trainingsmetriken und zur Messung von Sequenzfehlern. Die Bibliothek ist in C++ implementiert.
Generates tensors containing identity matrices, sequential ranges, and evenly-spaced values.
Flashlight ist eine C++-Bibliothek für maschinelles Lernen und ein Deep-Learning-Framework zur Erstellung und zum Training neuronaler Netze. Es fungiert als Tensor-Manipulationsbibliothek und Engine für automatische Differenzierung, die Operationen verfolgt, um Gradienten via Backpropagation für die Modelloptimierung zu berechnen. Das Projekt zeichnet sich durch seine Rolle als Framework für verteiltes Training aus, das All-Reduce-Gradientensynchronisation und verteilte Umgebungen nutzt, um Machine-Learning-Workloads über mehrere Nodes und Geräte hinweg zu skalieren. Es verfügt über eine Backend-agnostische Speicherschnittstelle und RAII-basiertes Management, um Tensor-Operationen von der physischen Hardware zu entkoppeln. Das Framework deckt ein breites Funktionsspektrum ab, einschließlich der Konstruktion neuronaler Netzwerkarchitekturen mit konvolutiven, linearen und rekurrenten Schichten. Es bietet umfangreiche Utilities für Tensor-Algebra, Dataset-Management und Batching, versionierte Binärserialisierung für Modellzustände sowie Überwachungswerkzeuge zur Verfolgung von Trainingsmetriken und Speicherauslastung.
Ships functions for saving and loading tensors and neural network modules to binary files.
llm-viz is a 3D architecture visualizer and inference simulator for large language models. It provides a visual representation of network topology and the mathematical operations used during the process of generating a response. The tool enables the exploration of internal weight distributions and the layout of layers within a neural network. It facilitates model interpretability and inference debugging by tracking the step-by-step movement of data through the architecture. The system utilizes GPU-accelerated 3D rendering to visualize tensor flow and spatial mappings of weights. It includes
Visualizes the movement and transformation of data tensors as they pass through different model layers during inference.
Danfo.js ist eine Bibliothek für Datenanalyse und Vorverarbeitung für JavaScript, die leistungsstarke gelabelte Datenstrukturen bereitstellt. Sie implementiert Dataframes und Series, um komplexe Datenanalysen, statistische Berechnungen und die Manipulation strukturierter tabellarischer Daten zu ermöglichen. Das Projekt dient als Bibliothek für die Vorverarbeitung beim maschinellen Lernen und bietet Dienstprogramme für kategoriales Label-Encoding, One-Hot-Encoding sowie die Skalierung und Standardisierung numerischer Features. Es erleichtert insbesondere die Konvertierung gelabelter Datenstrukturen in Tensoren für das Modelltraining und die Evaluierung. Die Bibliothek deckt eine breite Palette an Funktionen ab, einschließlich deskriptiver Statistik, relationaler Operationen wie Merging und Joining sowie Zeitreihenverarbeitung. Sie enthält Tools für die Datenbereinigung, Filterung und Gruppierung sowie eine Visualisierungsschnittstelle zur Erstellung interaktiver Diagramme und Plots direkt aus Dataframes. Das System unterstützt den Import und Export von Daten über CSV-, JSON- und Excel-Formate.
Provides utilities to transform structured data frames into tensors for compatibility with machine learning frameworks.
This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi
Provides operations for concatenating, stacking, or dividing tensors and arrays along specified dimensions.
Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.
Provides utilities to recursively move tensors and data collections between different hardware devices.
ArrayFire ist ein hardware-agnostisches Compute-Framework und eine JIT-kompilierte Tensor-Engine für numerische Hochleistungsberechnungen. Es dient als GPU-Bibliothek für numerische Berechnungen und Toolkit für parallele Signalverarbeitung, das Hardware-Backends abstrahiert und es ermöglicht, denselben Code auf verschiedenen GPU-Architekturen und CPUs auszuführen. Das Projekt zeichnet sich durch eine JIT-Engine aus, die Ausdruckskompilierung verwendet, um Operationen zu verschmelzen und den Speicher-Overhead zu minimieren. Es nutzt einen verzögerten Ausführungsgraphen zur Optimierung von Berechnungsketten und bietet Interoperabilitäts-Primitive, um Daten und Ausführungskontexte mit externen Compute-Plattformen wie CUDA und OpenCL zu teilen. Die Bibliothek deckt ein breites Spektrum an Fähigkeiten ab, einschließlich paralleler linearer Algebra, digitaler Signalverarbeitung und beschleunigter Computer Vision. Sie bietet Werkzeuge für die Implementierung von maschinellem Lernen, Simulationen für Finanzmodelle und die Lösung partieller Differentialgleichungen für physikalische Systemsimulationen. Das Tensor-Managementsystem verwaltet die Zuweisung mehrdimensionaler Arrays, Slicing sowie Datentransfers zwischen Host und Gerät.
Extracts specific rows, columns, or subarrays using sequences, spans, and strides.
Ignite ist ein High-Level-Trainings-Framework für PyTorch-Neuronale Netze, das als Trainings-Engine und Deep-Learning-Lifecycle-Manager dient. Es bietet ein strukturiertes System zur Organisation und Automatisierung von Trainings- und Evaluierungsschleifen, verwaltet Daten-Iteratoren und löst Event-Handler bei bestimmten Meilensteinen während des Modelltrainings aus. Das Projekt zeichnet sich durch eine umfassende Suite von Tools für verteiltes Training und Modellevaluierung aus. Es enthält Dienstprogramme zur Synchronisierung von Gradienten und zur Koordination kollektiver Kommunikation über mehrere GPUs oder Knoten hinweg sowie eine Evaluierungssuite zur Berechnung von Leistungsmetriken und zur Durchführung von k-facher Kreuzvalidierung. Die breiteren Funktionen umfassen die Automatisierung von Trainings-Workflows, einschließlich Learning-Rate-Scheduling, Early Stopping und Hyperparameter-Optimierung. Das Framework bietet zudem Observability-Tools für Experiment-Tracking, Profiling der Ausführungszeit und Mixed-Precision-Training zur Optimierung der Speicherauslastung. Mechanismen zur Statuspersistenz sind enthalten, um Modell-Checkpoints zu verwalten und Trainingssitzungen wiederherzustellen. Containerisierte Umgebungen sind verfügbar, um die Bereitstellung und Einrichtung zu vereinfachen.
Collects tensors or strings from all participating processes and aggregates them into a single list.