awesome-repositories.com
Blog
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetÀ proposNotre méthodologiePresseServeur MCP
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

1 dépôt

Awesome GitHub RepositoriesParallel Data Loading

High-throughput data streaming implementations using multiprocessing to bypass framework bottlenecks.

Distinct from Python Data Pipeline Frameworks: Focuses on the parallel execution of data loading specifically for ML pipelines, rather than general batch workflow orchestration.

Explore 1 awesome GitHub repository matching data & databases · Parallel Data Loading. Refine with filters or upvote what's useful.

Awesome Parallel Data Loading GitHub Repositories

Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
  • tensorpack/tensorpackAvatar de tensorpack

    tensorpack/tensorpack

    6,287Voir sur GitHub↗

    Tensorpack est un framework de réseau de neurones TensorFlow de haut niveau et une bibliothèque de recherche conçue pour construire et entraîner des modèles de deep learning. Il fournit une collection d'architectures de réseaux de neurones reproductibles pour la vision par ordinateur, les tâches génératives, l'apprentissage par renforcement et le traitement du langage naturel. Le projet se distingue par un pipeline de données de deep learning spécialisé qui utilise du Python pur pour le chargement et le streaming de données en parallèle. Il inclut un orchestrateur d'entraînement multi-GPU pour distribuer les charges de travail via des stratégies de parallélisme de données et un toolkit d'interprétabilité dédié pour visualiser la saillance des modèles et les cartes d'activation. Le framework couvre un large éventail de capacités, incluant des pipelines de vision par ordinateur pour la détection d'objets et la segmentation sémantique, la modélisation de séquences pour la parole et le texte, et le développement d'agents d'apprentissage par renforcement. Il fournit également des outils d'optimisation de modèle pour la quantification des poids et l'entraînement en faible précision, ainsi que des utilitaires pour reproduire des articles de recherche académique et convertir des poids de modèles Caffe legacy.

    Uses pure Python multiprocessing to stream datasets into the computation graph, bypassing framework-specific pipeline constraints.

    Python
    Voir sur GitHub↗6,287
  1. Home
  2. Data & Databases
  3. Python Data Pipeline Frameworks
  4. Parallel Data Loading