awesome-repositories.com
Blog
awesome-repositories.com

Descoperă cele mai bune repository-uri open source cu căutare AI.

ExploreazăCăutări recomandateOpen-source alternativesSelf-hosted softwareBlogHartă site
ProiectDespreHow we rankPresăServer MCP
LegalConfidențialitateTermeni
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

1 repository

Awesome GitHub RepositoriesParallel Data Loading

High-throughput data streaming implementations using multiprocessing to bypass framework bottlenecks.

Distinct from Python Data Pipeline Frameworks: Focuses on the parallel execution of data loading specifically for ML pipelines, rather than general batch workflow orchestration.

Explore 1 awesome GitHub repository matching data & databases · Parallel Data Loading. Refine with filters or upvote what's useful.

Awesome Parallel Data Loading GitHub Repositories

Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
  • tensorpack/tensorpackAvatar tensorpack

    tensorpack/tensorpack

    6,287Vezi pe GitHub↗

    Tensorpack este un framework de rețele neuronale TensorFlow de nivel înalt și o bibliotecă de cercetare concepută pentru construirea și antrenarea modelelor de deep learning. Oferă o colecție de arhitecturi de rețele neuronale reproductibile pentru viziune artificială, sarcini generative, învățare prin consolidare și procesarea limbajului natural. Proiectul se distinge printr-un pipeline de date de deep learning specializat care utilizează Python pur pentru încărcarea și streaming-ul datelor în paralel. Include un orchestrator de antrenare multi-GPU pentru distribuirea sarcinilor de lucru prin strategii de paralelizare a datelor și un toolkit de interpretabilitate dedicat pentru vizualizarea hărților de activare și saliency ale modelului. Framework-ul acoperă o gamă largă de capabilități, inclusiv pipeline-uri de viziune artificială pentru detectarea obiectelor și segmentarea semantică, modelarea secvențială pentru vorbire și text, și dezvoltarea de agenți de învățare prin consolidare. Oferă, de asemenea, instrumente de optimizare a modelelor pentru cuantizarea ponderilor și antrenarea pe biți puțini, alături de utilitare pentru reproducerea lucrărilor de cercetare academică și conversia ponderilor modelelor Caffe legacy.

    Uses pure Python multiprocessing to stream datasets into the computation graph, bypassing framework-specific pipeline constraints.

    Python
    Vezi pe GitHub↗6,287
  1. Home
  2. Data & Databases
  3. Python Data Pipeline Frameworks
  4. Parallel Data Loading