awesome-repositories.com
Blog
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektÜber unsRanking-MethodikPresseMCP-Server
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

1 Repo

Awesome GitHub RepositoriesAsynchronous Loading Pipelines

Data pipelines that use multi-processing to overlap data loading and preprocessing with GPU computation.

Distinct from Data Preprocessing Pipelines: Focuses on the asynchronous execution and hardware-starvation prevention rather than just the sequence of cleaning steps.

Explore 1 awesome GitHub repository matching data & databases · Asynchronous Loading Pipelines. Refine with filters or upvote what's useful.

Awesome Asynchronous Loading Pipelines GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • tingsongyu/pytorch-tutorial-2ndAvatar von TingsongYu

    TingsongYu/PyTorch-Tutorial-2nd

    4,555Auf GitHub ansehen↗

    Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

    Implements multi-process data loading to ensure the GPU remains saturated during training.

    Jupyter Notebookcomputer-visiondeepsortdiffusion-models
    Auf GitHub ansehen↗4,555
  1. Home
  2. Data & Databases
  3. Data Preprocessing Pipelines
  4. Asynchronous Loading Pipelines