1 Repo
Awesome GitHub RepositoriesParallel Data Loading
High-throughput data streaming implementations using multiprocessing to bypass framework bottlenecks.
Distinct from Python Data Pipeline Frameworks: Focuses on the parallel execution of data loading specifically for ML pipelines, rather than general batch workflow orchestration.
Explore 1 awesome GitHub repository matching data & databases · Parallel Data Loading. Refine with filters or upvote what's useful.
Awesome Parallel Data Loading GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- tensorpack/tensorpack
tensorpack/tensorpack
6,287Auf GitHub ansehenTensorpack ist ein High-Level-TensorFlow-Framework für neuronale Netze und eine Forschungsbibliothek für den Aufbau und das Training von Deep-Learning-Modellen. Es bietet eine Sammlung reproduzierbarer Architekturen neuronaler Netze für Computer Vision, generative Aufgaben, Reinforcement Learning und Natural Language Processing. Das Projekt zeichnet sich durch eine spezialisierte Deep-Learning-Daten-Pipeline aus, die reines Python für paralleles Datenladen und Streaming verwendet. Es enthält einen Multi-GPU-Trainings-Orchestrator zur Verteilung von Workloads mittels Data-Parallel-Strategien und ein dediziertes Interpretierbarkeits-Toolkit zur Visualisierung von Modell-Saliency- und Aktivierungskarten. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Computer-Vision-Pipelines für Objekterkennung und semantische Segmentierung, Sequenzmodellierung für Sprache und Text sowie die Entwicklung von Reinforcement-Learning-Agenten. Es bietet zudem Modelloptimierungstools für Gewichtsquantisierung und Low-Bitwidth-Training sowie Utilities zur Reproduktion akademischer Forschungsarbeiten und zur Konvertierung von Legacy-Caffe-Modellgewichten.
Uses pure Python multiprocessing to stream datasets into the computation graph, bypassing framework-specific pipeline constraints.
Python
