Awesome GitHub RepositoriesPadding Maskers

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

This project is a high-performance library for converting raw text into tokens and IDs for machine learning models. It functions as a fast text encoder and a text preprocessing pipeline designed to transform strings into numerical representations with high throughput for research and production. The library includes a subword tokenizer trainer used to analyze text datasets and create custom vocabularies using algorithms such as byte-pair encoding and wordpiece. It provides capabilities for subword vocabulary training and text alignment, allowing character offsets to be tracked during normaliz

OpenRLHF is a training framework and alignment library designed for reinforcement learning from human feedback across distributed GPU clusters. It provides tools for aligning large language models and multimodal vision-language models using algorithms such as PPO, GRPO, and DPO. The framework distinguishes itself through a distributed inference engine that overlaps sample rollout with training to increase throughput. It supports scaling to models exceeding 70 billion parameters via parameter sharding and handles long-context sequences through ring-attention sequence parallelism. The project

This project is a modular PyTorch framework for training and evaluating object detection and instance segmentation models. It serves as a computer vision research tool and a deep learning inference engine designed to identify object locations, classes, and pixel-level masks within images. The framework implements a two-stage inference pipeline that utilizes region proposal networks and a symmetric mask-head architecture. It provides specialized capabilities for instance segmentation, object bounding box detection, and human pose estimation via anatomical keypoint detection. The system includ

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a collection of educational resources and instructional guides for learning deep learning and neural network implementation using TensorFlow. It provides a structured set of tutorials and notebooks written in Chinese, covering supervised and unsupervised learning tasks. The material focuses on practical implementations of diverse neural network architectures, including convolutional, recurrent, and autoencoder networks. It includes specific training content for computer vision, natural language processing, and generative models. The coverage extends to specialized network arc

ERNIE is a development toolkit for training, fine-tuning, and deploying large language models built on the PaddlePaddle deep learning platform. It provides a comprehensive suite of core components, including an inference server for vision and language models, a training and fine-tuning toolkit, and a framework for building retrieval-augmented generation systems using private knowledge bases. The project features multimodal AI models capable of reasoning across text, images, and video to perform complex visual understanding and information extraction. It distinguishes itself through specialize

mmcv is a foundation library for computer vision based on PyTorch. It provides a comprehensive system for constructing convolutional neural networks, a toolkit for image and video preprocessing, and a collection of high-performance deep learning vision operators. The project is distinguished by its hardware-accelerated kernels for complex operations such as deformable convolutions and region pooling. It features a configuration-driven framework that allows for the dynamic instantiation of network layers and the registration of custom modules without modifying code. The library covers a broad

tsai est une bibliothèque de deep learning pour la classification, la régression et la prévision de séries temporelles. Basée sur PyTorch et fastai, elle fournit un framework pour étiqueter des données séquentielles, prédire des valeurs futures dans des séquences univariées ou multivariées, et entraîner des représentations sur des données non étiquetées via l'apprentissage auto-supervisé. La bibliothèque se distingue par ses capacités spécialisées d'ingénierie temporelle et de mise à l'échelle. Elle inclut des outils d'encodage temporel cyclique pour capturer les tendances saisonnières et le découpage de fenêtres en ligne pour traiter des jeux de données dépassant la mémoire disponible. Elle prend également en charge des pipelines d'entrée multimodaux combinant des caractéristiques catégorielles statiques et des séquences continues dynamiques. La boîte à outils couvre un large éventail de besoins en prétraitement et évaluation, notamment la segmentation par fenêtre glissante, l'imputation de données manquantes et la conversion de dataframes tabulaires en tenseurs structurés. La performance des modèles est évaluée par validation croisée glissante et analyse de l'importance des caractéristiques pour garantir la cohérence temporelle.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Ce projet est un générateur de poésie par deep learning conçu pour créer des couplets chinois traditionnels. Il utilise une architecture de réseau de neurones séquence-à-séquence pour mapper des séquences de texte d'entrée vers des séquences de sortie correspondantes, fonctionnant comme un modèle de génération de texte et un service web d'inférence. Le système dispose d'un mécanisme de classement de texte neuronal qui évalue les sorties candidates en fonction de la cohérence de la longueur et des motifs de caractères pour assurer l'alignement structurel. Il inclut également un processus de filtrage de contenu qui scanne le texte généré par rapport à des listes de mots interdits pour supprimer le matériel sensible ou inapproprié. La surface de capacités plus large inclut un pipeline de tokenisation de texte pour la préparation des données et une interface RESTful pour servir les prédictions du modèle via JSON. Le projet couvre également le cycle de vie du machine learning, englobant l'optimisation des poids du modèle, l'entraînement et l'évaluation des performances par rapport aux jeux de données de validation.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

EasyR1 est un système d'entraînement de modèles distribué et un framework d'apprentissage par renforcement pour les grands modèles de langage et les modèles vision-langage. Il fonctionne comme un entraîneur multimodal et une implémentation d'un pipeline Proximal Policy Optimization conçu pour affiner les capacités de raisonnement et de perception des modèles traitant à la fois du texte et des images. Le système se spécialise dans la distribution des charges de travail d'apprentissage par renforcement sur plusieurs nœuds de calcul pour gérer des besoins en mémoire élevés. Il optimise l'utilisation du matériel grâce à un entraînement sans padding et un fine-tuning permettant d'adapter de grands modèles aux unités de traitement graphique disponibles. Le framework couvre l'apprentissage par renforcement et l'orchestration de modèles de récompense, incluant les workflows d'apprentissage par renforcement à partir de feedback humain (RLHF). Sa surface technique inclut le parallélisme de données distribué, l'entraînement en précision hybride et des pipelines d'entrée multimodaux pour des données texte et image entrelacées. Le projet inclut des utilitaires pour la récupération d'état basée sur des checkpoints et s'intègre avec des outils de logging externes pour suivre la progression de l'entraînement et les métriques de performance.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

Ce projet est un programme éducatif complet et un framework de deep learning conçu pour enseigner le deep learning pratique avec PyTorch via des notebooks et des exemples de code. Il sert de bibliothèque de haut niveau pour construire, entraîner et déployer des réseaux de neurones, agissant comme un orchestrateur d'entraînement de modèles qui coordonne les modèles PyTorch, les optimiseurs et les fonctions de perte. Le projet fournit des boîtes à outils spécialisées pour la vision par ordinateur, le traitement du langage naturel et le prétraitement de données tabulaires. Il se distingue par des contrôles d'entraînement avancés tels que des taux d'apprentissage discriminatifs, un système de callback bidirectionnel pour personnaliser la logique d'entraînement, et une abstraction de haut niveau qui automatise le placement sur périphérique et les boucles d'entraînement. Le framework couvre une large surface de capacités, y compris la construction automatisée de pipelines de données, l'analyse d'architecture de modèles et l'évaluation des performances sur des tâches de classification, de régression et de segmentation. Il inclut également des utilitaires pour l'entraînement distribué sur plusieurs GPU, l'entraînement en précision mixte pour l'optimisation de la mémoire, et un support spécialisé pour les données d'imagerie médicale. Le projet est livré sous forme d'une série de Jupyter Notebooks.

Imageflow is a high-performance image manipulation library and composition engine available as a C-compatible library, a command-line image processor, and a dynamic image processing server. It provides the means to decode, encode, and apply complex visual transformations to images through programmatic interfaces, JSON job files, or on-the-fly URL query strings. The system distinguishes itself through a graph-based processing pipeline that allows for single-pass multi-format encoding, generating multiple image sizes and formats from a single decode to reduce overhead. It further features a res

MoreLINQ is a functional programming toolkit and extension library for .NET that augments LINQ to Objects with advanced operators for sequence manipulation and analysis. It provides a set of tools for declarative data transformation, leveraging lazy evaluation and composition to handle complex object sequences. The library is distinguished by its specialized capabilities for combinatorial generation, including the production of permutations, subsets, and Cartesian products. It also provides advanced sequence joining options, such as full, left, and right outer joins, and supports complex data

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen