Awesome GitHub RepositoriesParameter Optimizers

Flashlight est une bibliothèque de machine learning en C++ et un framework de deep learning conçu pour construire et entraîner des réseaux de neurones. Il fonctionne comme une bibliothèque de manipulation de tenseurs et un moteur de différenciation automatique qui suit les opérations pour calculer les gradients via la rétropropagation pour l'optimisation des modèles. Le projet se distingue par son rôle de framework d'entraînement distribué, utilisant la synchronisation de gradient all-reduce et des environnements distribués pour mettre à l'échelle les charges de travail de machine learning sur plusieurs nœuds et appareils. Il dispose d'une interface mémoire agnostique au backend et d'une gestion basée sur RAII pour découpler les opérations sur tenseurs du matériel physique. Le framework couvre une large surface de capacités, incluant la construction d'architectures de réseaux de neurones avec des couches convolutionnelles, linéaires et récurrentes. Il fournit des utilitaires étendus pour l'algèbre tensorielle, la gestion et le batching de jeux de données, la sérialisation binaire versionnée pour les états de modèle, et des outils de surveillance pour suivre les métriques d'entraînement et l'utilisation de la mémoire.

Ce projet est une ressource pédagogique complète sur le machine learning, présentée sous forme d'une série de tutoriels dans des Jupyter Notebooks interactifs. Il propose des implémentations pratiques en Python pour l'ensemble du cycle de vie du machine learning, couvrant l'apprentissage supervisé et non supervisé, le deep learning et l'apprentissage par renforcement. La ressource se distingue par des guides d'implémentation détaillés pour des architectures complexes, notamment les transformers, les réseaux antagonistes génératifs (GAN) et les réseaux de neurones convolutifs. Elle propose également des cours spécialisés pour développer des agents d'apprentissage par renforcement utilisant le Q-learning et les Deep Q-Networks dans des environnements simulés. Le contenu couvre un large spectre de capacités en data science, incluant les pipelines d'ingénierie de données, l'encodage de caractéristiques et la réduction de dimensionnalité. Il fournit un matériel étendu sur l'évaluation des modèles via la validation croisée et des métriques de diagnostic, ainsi que des sujets avancés comme le traitement du langage naturel (NLP), l'analyse de sentiment et l'IA générative. L'ensemble du cursus est conçu pour une exécution interactive dans des Jupyter Notebooks, combinant code exécutable, texte riche et visualisations.

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

TensorFlow Probability is a library for probabilistic reasoning and statistical analysis integrated with the TensorFlow ecosystem. It serves as a Bayesian deep learning framework, a probabilistic programming interface, and a variational inference engine, providing a toolset for Markov chain Monte Carlo sampling and tensor-based probabilistic modeling. The project enables the construction of neural networks with probabilistic weights and the implementation of Bayesian neural networks to quantify prediction uncertainty. It provides specialized capabilities for hierarchical probabilistic modelin

Ce projet est une collection de ressources éducatives et d'implémentations de référence pour le développement de réseaux de neurones utilisant TensorFlow. Il sert de cours d'apprentissage complet, de programme d'apprentissage automatique et de guide d'implémentation pratique pour construire des architectures de deep learning. La base de code fournit des supports pédagogiques et des exemples couvrant un large éventail de types de modèles, y compris les réseaux de neurones convolutifs pour la classification d'images, les réseaux récurrents et les cellules LSTM pour les données séquentielles, et les auto-encodeurs pour la modélisation générative. Il inclut également des implémentations pour des agents d'apprentissage par renforcement profond et des techniques de transfert d'apprentissage pour adapter des modèles pré-entraînés à de nouvelles tâches. Le projet couvre le cycle de vie complet du développement, y compris le prétraitement des données, la définition du graphe de calcul et l'optimisation des poids. Il fournit des utilitaires pour l'évaluation des modèles et l'optimisation de l'entraînement, tels que le dropout et la régularisation, ainsi que des outils pour visualiser l'architecture du réseau et surveiller les métriques d'entraînement.

This project is a Chinese language translation of the technical guides and API references for the PyTorch deep learning framework. It serves as a localized knowledge base and reference material to make deep learning documentation accessible to non-English speakers. The documentation covers a comprehensive range of PyTorch capabilities, including neural network model development, automatic differentiation, and the implementation of backend kernels. It provides detailed guidance on distributed training strategies, model deployment through formats like ONNX and C++, and various model optimizatio

This project is a scheduling enhancement for Anki that implements the Free Spaced Repetition Scheduler algorithm. It serves as a replacement for traditional scheduling models, calculating review intervals to optimize long-term memory retention. The tool provides memory retention simulation to predict future review counts and study time based on historical data. It allows for the optimization of retention levels to balance study effort against memory persistence and supports custom scheduling overrides for specific decks. The system covers memory pattern analysis, workload prediction, and the

Ce projet est une ressource pédagogique complète et un manuel de tutoriels pour construire, entraîner et déployer des modèles de machine learning avec TensorFlow 2. Il sert de guide d'apprentissage structuré couvrant les concepts fondamentaux du deep learning, notamment les architectures de réseaux de neurones, la différenciation automatique et les opérations sur les tenseurs. Le manuel fournit des conseils techniques pour optimiser l'efficacité de l'exécution via la gestion de la mémoire GPU, l'entraînement distribué et la quantification de modèles. Il inclut également des guides détaillés pour construire des pipelines de données haute performance et exporter des modèles vers des serveurs de production, des appareils mobiles et des navigateurs web. Le contenu couvre un large éventail de capacités, incluant le développement de modèles avec des réseaux convolutifs et récurrents, l'implémentation de fonctions de perte et de couches personnalisées, ainsi que l'utilisation de modèles pré-entraînés pour le transfer learning. Il aborde également les stratégies de déploiement pour les appareils edge et l'utilisation d'environnements d'exécution cloud pour l'accélération matérielle. La ressource est implémentée sous forme d'une collection de Jupyter Notebooks.

Ce projet sert de ressource éducative et pratique pour maîtriser les flux de travail de machine learning en utilisant Python. Il fournit une collection complète d'exemples de code et d'exercices conçus pour guider les utilisateurs à travers l'implémentation de systèmes prédictifs, allant des algorithmes fondamentaux aux architectures d'apprentissage profond. Le dépôt se distingue en offrant une approche structurée à la fois pour le machine learning classique et l'entraînement de réseaux de neurones. Il couvre le cycle de vie complet du développement de modèles, y compris l'orchestration de pipelines de transformation de données réutilisables, des stratégies d'ensemble avancées comme le stacking et l'entraînement séquentiel, et des techniques pour gérer des jeux de données à grande échelle via un traitement incrémental. Le matériel englobe une large surface de capacités, incluant la classification, la régression, le clustering et la réduction de dimensionnalité. Il fournit des outils pour une évaluation rigoureuse des modèles, tels que l'analyse d'erreurs et les métriques de performance, aux côtés de techniques d'optimisation comme le réglage des hyperparamètres, la régularisation et des contrôles d'entraînement automatisés pour garantir la fiabilité et la généralisation du modèle. Le contenu est organisé comme une série de tutoriels et d'exercices pratiques, en faisant une référence pour construire et déployer des systèmes intelligents avec des frameworks standards de l'industrie.