6 dépôts
Tools for segmenting large graph structures into smaller subgraphs for memory-efficient processing.
Distinct from Graph Processing: Distinct from general graph processing: focuses specifically on memory-efficient partitioning for mini-batch training.
Explore 6 awesome GitHub repositories matching data & databases · Graph Partitioning Utilities. Refine with filters or upvote what's useful.
This project is a deep learning library designed for training neural networks on irregular data structures, including graphs, 3D meshes, and point clouds. It functions as an extension to the PyTorch framework, providing specialized layers and kernels that enable the processing of complex, non-Euclidean information. The library distinguishes itself through a geometric deep learning toolkit that manages the unique requirements of graph-based data. It utilizes sparse matrix-based message passing to aggregate information across nodes and employs dynamic computational graph construction to accommo
Segments large graph structures into smaller subgraphs to allow memory-efficient processing of datasets that exceed single-device capacity.
DGL is a Python library for building and training graph neural networks. It functions as a graph message passing framework and a geometric deep learning tool, enabling the development of models that analyze graph-structured data. The library is designed for large-scale graph processing, utilizing distributed training and neighbor sampling to handle datasets with billions of edges. It provides specialized support for heterogeneous graph modeling, allowing for the representation of complex real-world entities with multiple node and edge types. Its capabilities cover a wide range of graph tasks
Implements utilities for splitting large-scale graphs across multiple machines to enable training on massive datasets.
Titan est une base de données de graphes distribuée et un moteur de calcul conçu pour stocker et interroger des jeux de données massifs de nœuds et d'arêtes interconnectés à travers des clusters multi-machines. Il fonctionne comme une couche de stockage de graphes évolutive et un magasin transactionnel, fournissant un framework pour exécuter des tâches de traitement de graphes à grande échelle et des traversées profondes. Le système se distingue par son backend de stockage enfichable, qui découple le moteur de graphe de la couche de persistance physique. Il utilise un partitionnement de données par coupe de sommets (vertex-cut) pour équilibrer les charges de traitement et un modèle de propriété à cardinalité d'ensemble qui permet à des propriétés uniques de stocker plusieurs valeurs. La plateforme couvre un large éventail de capacités, incluant l'indexation de graphes multi-modèles pour les recherches géographiques et en texte intégral, la gestion de schéma globale pour la réindexation des jeux de données, et des opérations transactionnelles assurées par journalisation write-ahead. Elle incorpore également l'expiration d'éléments via des paramètres de durée de vie (TTL) et une surveillance de la performance système pour suivre l'activité des requêtes et la latence des transactions.
Balances cluster load by segmenting large graph structures into smaller subgraphs using vertex or edge cuts.
AITemplate est un compilateur de deep learning ahead-of-time qui traduit les réseaux de neurones PyTorch en code source C++ autonome. Il fonctionne comme un compilateur PyTorch vers C++ et un moteur de fusion de noyaux GPU, produisant des binaires exécutables autonomes qui exécutent l'inférence sans nécessiter d'interpréteur Python ou de runtime de framework de deep learning. Le projet génère du code CUDA et HIP C++ optimisé spécifiquement pour les NVIDIA TensorCores et AMD MatrixCores. Il se concentre sur la maximisation du débit pour les opérations en virgule flottante demi-précision via un système qui combine plusieurs opérateurs de réseau de neurones en noyaux GPU uniques pour minimiser la surcharge mémoire et la latence. La boîte à outils couvre l'accélération de l'inférence GPU et le calcul haute performance, fournissant des capacités pour le développement d'opérateurs GPU personnalisés et le mappage de nœuds de graphe vers des modèles spécifiques au matériel. Elle inclut un support utilitaire pour le benchmarking des performances d'inférence et la visualisation des optimisations de modèle.
Handles unsupported operators by delegating specific graph segments to an external engine while accelerating the rest.
OpenSfM is a computer vision library and structure-from-motion pipeline designed to reconstruct three-dimensional scenes and camera trajectories from overlapping images. It functions as a 3D reconstruction engine and photogrammetry toolkit, utilizing automated feature-based image matching and incremental bundle adjustment to derive spatial geometry. The system distinguishes itself as a geospatial alignment tool, integrating GPS and inertial sensor data to align reconstructed 3D models with real-world geographic coordinates. It employs a hybrid Python and C++ execution model to manage large-sc
Organizes large image collections into manageable sub-graphs to reduce the computational complexity of reconstruction.
POT is an optimal transport library providing a collection of solvers for computing Wasserstein, Gromov-Wasserstein, and Fused Gromov-Wasserstein distances between probability distributions. It functions as a differentiable tensor framework that integrates with various tensor libraries to enable automatic differentiation and GPU acceleration. The project is distinguished by its ability to align data distributions across different metric spaces by comparing internal relational structures rather than coordinates. It implements mathematical optimization algorithms as differentiable layers, allow
Divides graphs into clusters and selects representative nodes to optimize the performance of quantized transport solvers.