Awesome GitHub RepositoriesDataset Loading

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

SSTap-Rule is a routing rule set and game traffic accelerator designed to optimize connectivity and reduce latency for online games. It provides a collection of curated network routing configurations specifically for the SSTap client to ensure game data is directed through optimized network paths. The project utilizes geo-based routing configurations and geographic datasets to balance network routing accuracy and processing efficiency. This allows for the steering of internet traffic based on location to improve connection stability and speed. The system covers broader capabilities in networ

This project is a toolkit and API designed for parsing, manipulating, and visualizing image annotations for computer vision tasks. It provides a programming interface to load and organize Common Objects in Context annotations, specifically for object detection, image segmentation, and keypoint estimation. The library includes tools for converting formatted JSON files into data structures that support the analysis of pixel-level masks and skeletal markers. It enables the visual verification of ground truth accuracy by rendering bounding boxes, segmentation masks, and keypoint markers directly

Gluon-CV est une bibliothèque de vision par ordinateur MXNet qui fournit une collection complète d'architectures de vision pré-implémentées et de pipelines d'entraînement. Elle sert de toolkit de recherche en deep learning et de zoo de modèles contenant des poids pré-entraînés à l'état de l'art pour l'analyse d'images et de vidéos. Le projet inclut une bibliothèque spécialisée d'estimation de pose humaine et un toolkit de compression de modèles. Ces outils permettent l'élagage et la quantification de modèles de deep learning pour augmenter la vitesse d'inférence et faciliter le déploiement sur du matériel edge contraint. La bibliothèque couvre un large éventail de capacités de vision, incluant la classification d'images, la détection d'objets, ainsi que la segmentation sémantique et d'instance. Elle fournit également des outils pour l'analyse vidéo, tels que la reconnaissance d'action, le suivi d'objets et l'estimation de profondeur monoculaire. L'entraînement est pris en charge via des pipelines automatisés et des charges de travail multi-GPU distribuées pour accélérer la convergence des modèles.

Ce projet est un cursus éducatif en machine learning et une plateforme d'apprentissage délivrée via des Jupyter Notebooks interactifs. Il sert de guide complet pour maîtriser le toolkit de science des données Python, fournissant des tutoriels structurés pour le calcul numérique, la manipulation de données tabulaires et la visualisation statistique. Le cursus inclut des guides d'implémentation spécifiques pour Scikit-Learn et un cours pratique sur TensorFlow pour construire, entraîner et déployer des réseaux de neurones et des modèles de vision par ordinateur. Il couvre le processus de bout en bout de la construction de modèles prédictifs, de la formulation initiale du problème et de la catégorisation des tâches au déploiement des modèles via des interfaces web interactives. Le projet couvre une large surface de capacités incluant le calcul numérique avec des tableaux multidimensionnels, l'analyse exploratoire des données et les routines de prétraitement des données. Il fournit des flux de travail détaillés pour l'apprentissage supervisé et non supervisé, les pipelines de machine learning automatisés, l'optimisation des hyperparamètres et l'évaluation des modèles utilisant des métriques de classification et la validation croisée. Le contenu éducatif est organisé sous forme d'une série de notebooks qui entremêlent code Python et explications narratives pour documenter les flux de travail en science des données.

pgai est une boîte à outils et un framework d'IA pour PostgreSQL conçu pour intégrer des modèles de langage (LLM) et des embeddings vectoriels directement dans une base de données. Il sert de pont pour exécuter des requêtes de modèles de machine learning et effectuer des traductions texte-vers-SQL au sein de requêtes de base de données standard. Le projet fournit un pipeline automatisé d'embedding vectoriel qui gère le chargement, l'analyse et le découpage de texte provenant de tables et de documents non structurés. Ce système utilise un processus d'arrière-plan pour synchroniser automatiquement les embeddings à mesure que les données sources changent et inclut des outils spécialisés pour construire des applications de génération augmentée par récupération (RAG) et des moteurs de recherche sémantique. La boîte à outils couvre de vastes domaines de fonctionnalités, notamment le traitement de données non structurées avec OCR, la création de catalogues sémantiques pour mapper les schémas de base de données au langage naturel, et l'implémentation de recherches de similarité haute performance via l'indexation vectorielle et le reranking des résultats. Elle permet également l'enrichissement de données, la classification et la modération de contenu en appelant des modèles externes via SQL.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

dlt est un outil d'ingestion de données Python et un framework de pipeline ETL conçu pour récupérer des données depuis diverses sources et les persister dans des destinations structurées. Il fonctionne comme un moteur d'inférence de schéma qui détecte automatiquement les types de données et aplatit les structures JSON imbriquées en tables relationnelles, déplaçant les données des sources vers des lakehouses, des entrepôts ou des bases de données vectorielles. Le projet se distingue par une génération de pipeline alimentée par l'IA, utilisant de grands modèles de langage pour échafauder le code d'extraction et les connecteurs pour les API REST. Il prend également en charge le stockage vectoriel multimodal et la population spécialisée de bases de données vectorielles pour prendre en charge les applications d'IA et de machine learning. Le framework couvre un large éventail de capacités, incluant l'évolution automatique du schéma, le chargement incrémentiel de données via le suivi d'état et la validation de la qualité des données par l'application de contrats de données. Il fournit des outils pour la normalisation des données relationnelles, les transformations pré- et post-chargement, et une variété d'adaptateurs de destination pour les bases de données SQL et les magasins d'objets cloud. L'observabilité est gérée via des tableaux de bord d'exécution de pipeline, le suivi de lignage des colonnes et la vérification de version de schéma utilisant des hachages basés sur le contenu.

xtuner est un moteur d'entraînement complet pour les grands modèles de langage, offrant une boîte à outils pour le pré-entraînement, le fine-tuning supervisé et l'optimisation de modèles multimodaux vision-langage. Il sert d'accélérateur d'entraînement distribué et de framework spécialisé pour mettre à l'échelle des modèles Mixture-of-Experts et aligner le comportement du modèle via l'apprentissage par renforcement à partir de feedback humain (RLHF). Le projet se distingue par des optimisations avancées de mémoire et de calcul, telles que le parallélisme de séquence pour des fenêtres de contexte ultra-longues et le parallélisme de pipeline entrelacé pour réduire le temps d'inactivité du GPU. Il fournit une suite dédiée pour l'optimisation des préférences, implémentant des techniques comme Group Relative Policy Optimization et Direct Preference Optimization pour affiner les politiques du modèle et les systèmes de récompense. Les domaines de capacités étendus couvrent l'entraînement de modèle distribué sur plusieurs nœuds, la préparation de jeux de données multimodaux et la gestion du fine-tuning basé sur des adaptateurs. Le moteur inclut également des outils pour l'évaluation de modèle, la fusion de poids et l'exportation des paramètres entraînés vers des moteurs d'inférence. L'entraînement est géré via des fichiers de configuration standardisés et des lanceurs distribués pour assurer des résultats cohérents à travers les clusters de calcul.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

OpenPrompt est un framework d'apprentissage par prompt conçu pour adapter les grands modèles de langage (LLM) aux tâches de traitement du langage naturel (NLP) en aval. Il fournit une boîte à outils complète pour implémenter des stratégies de prompting manuel, souple et continu, permettant d'affiner les modèles sans mettre à jour tous les paramètres sous-jacents. Le projet se distingue par sa prise en charge du prompt tuning discret et continu. Il inclut un système pour injecter des soft tokens et des embeddings entraînables dans les entrées du modèle via la descente de gradient, ainsi qu'un moteur de génération automatique de prompts qui utilise la recherche par faisceau (beam search) et des modèles génératifs pour découvrir des modèles de texte à haute probabilité pour des jeux de données spécifiques. Le framework couvre plusieurs domaines de capacités clés, notamment la conception de templates et la verbalisation d'étiquettes pour mapper les étiquettes de classification aux mots du vocabulaire. Il fournit également des outils d'adaptation de modèles pour envelopper des modèles pré-entraînés, le calibrage des logits pour améliorer la précision des prédictions, et un pipeline de données avec une logique d'échantillonnage spécialisée pour le few-shot learning. Les workflows d'entraînement et d'expérimentation sont gérés via des fichiers de configuration qui définissent les scénarios d'apprentissage, les hyperparamètres et les spécifications du pipeline.

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

Ce projet est une plateforme d'apprentissage automatique distribué et un framework d'apprentissage profond creux (sparse) conçu pour entraîner et servir des modèles avec des données creuses de haute dimension. Il fonctionne comme une infrastructure de service de modèles en ligne et un moteur de système de recommandation, permettant la récupération et le scoring d'éléments en temps réel en utilisant le deep tree matching et les réseaux de neurones. Le système se distingue par un framework d'apprentissage multi-tâches qui optimise plusieurs fonctions objectives au sein d'un espace de représentation partagé. Il dispose d'une infrastructure de service en ligne spécialisée qui prend en charge le chargement à chaud dynamique des modèles et la transformation des checkpoints standard en un format optimisé personnalisé pour une inférence haute performance. La plateforme couvre un large éventail de capacités, incluant la gestion distribuée des paramètres pour mettre à l'échelle l'entraînement sur plusieurs travailleurs, le calcul d'embeddings creux pour les caractéristiques catégorielles, et la récupération neuronale basée sur des arbres pour les catalogues à grande échelle. Elle fournit également des outils pour la gestion de l'entraînement en flux continu, le contrôle du cycle de vie des caractéristiques via des seuils de probabilité, et le profilage de performance pour identifier les goulots d'étranglement d'exécution. Le projet inclut une interface d'entraînement unifiée et une intégration de framework backend pour standardiser l'exécution des tâches d'entraînement, de prédiction et d'évaluation.

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel