6 dépôts
Techniques for processing data in small groups to optimize memory and training speed.
Distinct from Training Dataset Processing: Specific to the mini-batch gradient descent training process rather than general data pipelines
Explore 6 awesome GitHub repositories matching artificial intelligence & ml · Mini-Batch Processing. Refine with filters or upvote what's useful.
This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope
Covers mini-batch gradient descent optimization for processing training data in small groups to speed up iterations.
Ce projet est une série de tutoriels de deep learning et un programme éducatif conçu pour enseigner les fondamentaux de PyTorch. Il sert de guide de formation structuré pour maîtriser l'architecture des réseaux de neurones, la différenciation automatique et l'utilisation des tenseurs et des graphes de calcul dynamiques. Le programme se concentre sur des implémentations pratiques, guidant spécifiquement le développement de systèmes de recommandation, de modèles publicitaires et de réseaux d'intérêt pour prédire les préférences des utilisateurs. Il fournit également un contenu pédagogique pour la prévision de séries temporelles et le traitement de données séquentielles. Le matériel couvre un large éventail de capacités de deep learning, incluant la construction de modèles pour la classification d'images et de texte ainsi que pour les données structurées. Il intègre des workflows pour l'accélération GPU, la visualisation des métriques d'entraînement et la création d'interfaces web pour tester les prédictions des modèles. Le projet est livré sous forme de collection de Jupyter Notebooks.
Teaches how to organize raw datasets into shuffled mini-batches for efficient training.
River est un framework Python pour le machine learning en ligne (online machine learning), conçu pour entraîner et évaluer des modèles sur des données en streaming. Il permet un apprentissage incrémental en mettant à jour les paramètres du modèle une observation à la fois, éliminant le besoin de stocker des jeux de données d'entraînement complets en mémoire. La bibliothèque se distingue par un système dédié de détection de dérive de concept (concept drift) qui surveille les changements dans les distributions de données pour déclencher l'adaptation du modèle. Elle fournit également un framework de validation progressive qui simule un déploiement en temps réel en testant les modèles sur des échantillons avant de les utiliser pour l'entraînement. Le système couvre un large éventail de capacités de streaming, incluant l'ingénierie de caractéristiques (feature engineering) en temps réel, la prévision de séries temporelles et la détection d'anomalies en ligne. Il prend en charge l'apprentissage non supervisé via le clustering incrémental et les arbres de décision, ainsi que l'agrégation ensembliste et les politiques de bandit pour la sélection de modèles. Le projet inclut des utilitaires pour l'ingestion de données en streaming à partir de sources telles que des fichiers CSV et des API, ainsi que des outils pour calculer des statistiques courantes et des esquisses de données (data sketches) économes en mémoire.
Handles small groups of observations using data frames to balance batch efficiency with online learning requirements.
Ce projet est un cours éducatif sur le deep learning et un guide d'implémentation conçu pour construire et entraîner des réseaux de neurones. Il fournit un programme pour développer des modèles qui résolvent des tâches de reconnaissance de formes et de génération. Le matériel inclut des modules spécialisés pour l'entraînement en vision par ordinateur, le traitement du langage naturel et l'IA générative. Il couvre l'application pratique du transfer learning pour classer de nouvelles données et la création de médias synthétiques. Le projet englobe la conception d'architectures de réseaux, la construction de pipelines de données pour le machine learning et l'utilisation de diagnostics de performance des modèles pour identifier le sous-apprentissage ou le sur-apprentissage. Le contenu est délivré via des Jupyter Notebooks.
Implements techniques for processing data in small groups to optimize memory and training speed.
PyTorchZeroToAll est une ressource pédagogique et une collection de tutoriels axés sur le deep learning et le framework PyTorch. Il fournit un parcours d'apprentissage structuré pour implémenter des architectures de réseaux de neurones, allant de la syntaxe de base et des fondamentaux jusqu'à la conception de modèles complexes. Le projet sert de guide d'implémentation pour construire divers types de réseaux, incluant les réseaux linéaires, logistiques, convolutifs et récurrents. Il couvre spécifiquement le workflow pour la modélisation de séquences via l'utilisation de mécanismes d'attention et de réseaux au niveau des caractères. La ressource couvre également la préparation des données de machine learning, incluant l'utilisation de chargeurs de jeux de données personnalisés, d'outils de traitement de texte et la traduction de fichiers sources bruts en tenseurs pour les pipelines d'entraînement.
Covers mini-batch processing techniques to stabilize gradient descent and manage memory during training.
This project is a collection of structured study notes and notebooks serving as an educational resource for deep learning and neural network fundamentals. It provides a technical reference for implementing machine learning theory, covering everything from basic network design to the construction of advanced architectures. The material specifically focuses on the implementation of convolutional neural networks for computer vision and sequence models for natural language processing. It includes detailed guidance on building object detection systems, face recognition, and speech transcription mo
Implements mini-batch gradient descent to accelerate training and reduce memory consumption.