1 Repo
Awesome GitHub RepositoriesDataset Iteration Tracking
Tracking specific versions of training datasets using metadata snapshots linked to object storage.
Distinct from Object Versioning: Focuses on ML dataset versioning for reproducibility, unlike general object versioning for backup/recovery.
Explore 1 awesome GitHub repository matching data & databases · Dataset Iteration Tracking. Refine with filters or upvote what's useful.
Awesome Dataset Iteration Tracking GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- alirezadir/production-level-deep-learning
alirezadir/Production-Level-Deep-Learning
4,647Auf GitHub ansehenDieses Projekt ist ein MLOps-Architekturleitfaden und ein Framework für das Design und Deployment von Deep-Learning-Systemen in Produktionsumgebungen. Es bietet einen strukturierten Ansatz für das Deployment von Modell-Inferenz, ML-Pipeline-Orchestrierung und die Erstellung von Machine-Learning-Architekturen auf Produktionsebene. Das Projekt zeichnet sich durch einen Fokus auf verteiltes Deep Learning und Edge-KI-Optimierung aus. Es deckt Methoden zur Parallelisierung des Modelltrainings über mehrere GPUs hinweg ab, um große Datensätze zu verarbeiten, und wendet Techniken wie Quantisierung und Destillation an, um die Modellgröße für Embedded-Hardware zu reduzieren. Die Funktionsfläche erstreckt sich auf Monitoring und Observability, einschließlich der Verfolgung von Modell-Performance, Data-Drift und Experiment-Metriken. Es adressiert zudem die Orchestrierung von Daten-Workflows, Datensatz-Versionierung über Object-Stores und die Verwaltung von Inferenzanfragen mit hohem Volumen mithilfe von adaptivem Batching und Container-basierter Orchestrierung.
Tracks dataset iterations by linking binary files in object stores to specific metadata snapshots for reproducibility.
aiartificial-intelligencedeep-learning
