Awesome GitHub RepositoriesSequence Models

This project is a speech recognition and translation engine that utilizes a sequence-to-sequence transformer architecture to convert audio into text. It is built upon a weakly supervised learning framework, which leverages large-scale, unlabelled audio-transcript data to create generalized speech representations capable of performing simultaneous transcription, language identification, and translation. The system distinguishes itself through a unified multi-task modeling approach that shares token sequences across different objectives, allowing it to handle diverse languages and vocabularies

This project is an open-source, interactive educational platform designed to teach deep learning through a comprehensive, code-first curriculum. It provides a structured learning path that covers foundational mathematics, modern neural network architectures, and practical optimization techniques, enabling practitioners to master complex artificial intelligence concepts through hands-on experimentation. The platform distinguishes itself by integrating technical explanations with executable Jupyter notebooks. This design allows readers to modify code and hyperparameters in real-time, facilitati

The algorithm is a distributed recommendation engine pipeline designed to construct and serve personalized content timelines. It functions as a multi-stage orchestration layer that aggregates candidate content from diverse social graphs and high-dimensional embedding spaces, processing user interaction data to deliver a unified, ranked experience. The system utilizes a high-performance machine learning serving infrastructure to execute deep learning models that predict engagement probabilities in real-time. It distinguishes itself through a hybrid retrieval strategy that combines graph-traver

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

This project is an educational resource focused on the internal mechanics and design principles of transformer-based neural networks. It provides a structured guide to the fundamental components of generative artificial intelligence, including sequence modeling, semantic embeddings, and the mathematical foundations of large language models. The repository distinguishes itself through a heavy emphasis on visual documentation, utilizing diagrams and step-by-step explanations to clarify how data flows through complex neural architectures. It serves as a technical reference for developers seeking

This project is a comprehensive deep learning framework and educational platform designed for constructing, training, and evaluating neural network architectures. It provides a modular environment for building models through tensor operations and automatic differentiation, supporting a wide range of tasks from image classification and object detection to sequential data processing. Beyond its core technical capabilities, the project distinguishes itself by integrating professional career development resources directly into its learning ecosystem. It offers structured guidance, resume reviews,

Mamba is a deep learning framework designed for building and training sequence models that process long-range data dependencies with linear-time computational efficiency. By utilizing selective state space modeling, the library enables the construction of neural network architectures that replace traditional attention mechanisms with high-performance state space operations. The framework distinguishes itself through the use of data-dependent state gating, which allows the model to dynamically filter information flow based on the input sequence. To ensure high throughput, it incorporates hardw

This repository is a deep learning for natural language processing course and curriculum. It provides educational material and guides focused on neural network architectures used for processing natural language, speech signals, and text classification. The content includes instructional tutorials on sequence modeling and neural language modeling, covering the implementation of n-gram and recurrent neural networks. It also provides a framework for studying word embeddings to map linguistic meanings into numerical representations. The curriculum covers a broad range of capabilities, including

This project is a Python-based educational framework designed to simulate reinforcement learning algorithms and environments. It serves as a platform for reproducing classic textbook examples, allowing users to study agent behavior, policy improvement, and the fundamental mechanics of decision-making in controlled settings. The library provides implementations for core reinforcement learning concepts, including temporal difference learning, Monte Carlo episode sampling, and tabular value function approximation. It enables the analysis of specific algorithmic behaviors, such as identifying and

Ludwig is a declarative machine learning framework designed for training neural networks and large language models using configuration files instead of manual coding. It functions as a multimodal model builder and a low-code tool for supervised fine-tuning, allowing users to build models that process mixed inputs of text, images, audio, and tabular data. The project distinguishes itself through an automated hyperparameter optimizer and a system for large language model fine-tuning using parameter-efficient adapters. It features a multimodal data pipeline and the ability to automatically gener

DeepCTR is a specialized software framework and deep learning model library designed for predicting click-through rates and implementing recommendation systems. It provides a suite of tabular data models and architectures tailored for binary classification and sparse feature processing. The framework includes dedicated toolkits for multi-task learning and sequential interest modeling. It allows for the simultaneous estimation of multiple related targets through shared-bottom and gated expert neural networks, while capturing evolving user behavior using attention mechanisms and transformers.

Qwen-Image is a text-to-image model and large language model image generation framework. It functions as an AI image editing suite and a personalized image trainer, capable of producing high-fidelity visuals and accurate typography from natural language descriptions. The system is distinguished by its precision text rendering engine, which integrates multi-script calligraphy and layout-coherent alphabetic text into images. It provides specialized capabilities for subject identity preservation and consistent subject generation across different poses and viewpoints, alongside a training pipelin

Il s'agit d'un framework de machine learning pour traiter diverses tâches de traitement du langage naturel comme un problème unifié de texte-à-texte. Il fournit une boîte à outils pour le pré-entraînement et le fine-tuning de modèles transformer à grande échelle, utilisant un système où à la fois les entrées et les sorties sont formatées comme des séquences de texte brut. Le framework se distingue par son système d'entraînement distribué, qui utilise des stratégies basées sur des maillages pour mettre à l'échelle les poids des modèles et les lots d'entraînement à travers de multiples cœurs TPU. Il supporte l'apprentissage multi-tâches en combinant divers datasets dans un flux d'entraînement unique en utilisant des taux de mélange configurables, permettant à un modèle unique de gérer diverses tâches linguistiques. Le système couvre un large éventail de capacités, incluant les architectures encodeur-décodeur, le décodage par recherche en faisceau (beam-search) pour la génération de texte, et les workflows de transfert learning. Il inclut des utilitaires pour la préparation de datasets NLP, l'évaluation de la performance des modèles et l'exportation de points de contrôle entraînés pour la mise en production. La bibliothèque supporte le chargement de points de contrôle de modèles pré-entraînés de diverses tailles pour accélérer le développement.

Sapiens est un modèle de vision humaine haute résolution conçu pour des tâches de vision par ordinateur centrées sur l'humain de haute précision. Il fonctionne comme une suite d'outils pour estimer la pose humaine, la profondeur et la géométrie de surface. Le projet utilise une architecture vision transformer comme backbone pour effectuer plusieurs tâches via un encodeur partagé. Cette architecture permet la prédiction simultanée des structures squelettiques, des emplacements des articulations et de la distance entre une caméra et un sujet humain. Les capacités du modèle couvrent la segmentation des parties du corps humain pour isoler les régions anatomiques des arrière-plans et la prédiction des normales de surface pour récupérer les détails géométriques 3D à partir d'images 2D. Ces tâches sont soutenues par un framework d'apprentissage multi-tâches qui utilise la régression au niveau des pixels et le masquage par segmentation sémantique.

Flash Linear Attention is a training framework and inference engine for sequence models that use linear attention and state space mechanisms, designed to process long contexts with reduced memory and compute overhead. It provides hardware-optimized token mixing layers and fused CUDA kernels that minimize memory bandwidth and launch overhead across different GPU architectures, and includes a causal inference engine that generates text token-by-token using cached hidden states for efficient autoregressive decoding. The project supports building hybrid sequence models that interleave standard at

EconML est une bibliothèque Python pour l'inférence causale conçue pour estimer les effets de traitement hétérogènes en utilisant une combinaison de machine learning et d'économétrie. Elle sert de boîte à outils pour calculer les effets de traitement moyens conditionnels afin de déterminer comment des interventions spécifiques impactent des individus ou des sous-groupes. Le projet fournit un framework pour le double machine learning et le machine learning orthogonal afin d'isoler les signaux causaux des facteurs de confusion de haute dimension. Il inclut des implémentations spécialisées pour les forêts causales et les apprenants à variables instrumentales, permettant la récupération de relations causales même en présence de facteurs de confusion non observés. La bibliothèque couvre un large éventail de capacités, notamment la validation de modèles causaux via des tests de réfutation et des courbes de calibration, la construction de politiques de traitement personnalisées et l'analyse de régimes de traitement dynamiques. Elle prend également en charge l'inférence statistique pour la quantification de l'incertitude et l'interprétation de l'hétérogénéité des effets en utilisant des modèles basés sur des arbres et des valeurs de Shapley. Le projet est principalement implémenté et démontré via des Jupyter Notebooks.

Ce projet est une plateforme d'apprentissage automatique distribué et un framework d'apprentissage profond creux (sparse) conçu pour entraîner et servir des modèles avec des données creuses de haute dimension. Il fonctionne comme une infrastructure de service de modèles en ligne et un moteur de système de recommandation, permettant la récupération et le scoring d'éléments en temps réel en utilisant le deep tree matching et les réseaux de neurones. Le système se distingue par un framework d'apprentissage multi-tâches qui optimise plusieurs fonctions objectives au sein d'un espace de représentation partagé. Il dispose d'une infrastructure de service en ligne spécialisée qui prend en charge le chargement à chaud dynamique des modèles et la transformation des checkpoints standard en un format optimisé personnalisé pour une inférence haute performance. La plateforme couvre un large éventail de capacités, incluant la gestion distribuée des paramètres pour mettre à l'échelle l'entraînement sur plusieurs travailleurs, le calcul d'embeddings creux pour les caractéristiques catégorielles, et la récupération neuronale basée sur des arbres pour les catalogues à grande échelle. Elle fournit également des outils pour la gestion de l'entraînement en flux continu, le contrôle du cycle de vie des caractéristiques via des seuils de probabilité, et le profilage de performance pour identifier les goulots d'étranglement d'exécution. Le projet inclut une interface d'entraînement unifiée et une intégration de framework backend pour standardiser l'exécution des tâches d'entraînement, de prédiction et d'évaluation.

Open Flamingo est un framework d'entraînement de modèles de langage étendus multimodaux conçu pour intégrer des encodeurs de vision pré-entraînés avec des modèles de langage. Il implémente une architecture vision-langage qui utilise des couches d'attention croisée pour traiter des séquences entrelacées d'images et de texte. Le système se caractérise par ses capacités d'apprentissage multimodal few-shot, permettant au modèle de s'adapter à de nouvelles tâches visuelles en utilisant un petit ensemble d'exemples image-texte fournis dans l'invite. Il prend en charge l'apprentissage en contexte et la génération de texte multimodal pour des tâches telles que la réponse aux questions visuelles et le sous-titrage. Le framework inclut un entraîneur de modèle distribué qui emploie le parallélisme des données et le gradient checkpointing pour l'optimisation de la mémoire sur plusieurs GPU. Il fournit également des utilitaires pour le chargement de jeux de données multimodaux fragmentés, l'évaluation de modèles parallélisés et une infrastructure pour héberger des modèles à grande échelle pour l'inférence.