Awesome GitHub RepositoriesDataset Loading

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

SSTap-Rule is a routing rule set and game traffic accelerator designed to optimize connectivity and reduce latency for online games. It provides a collection of curated network routing configurations specifically for the SSTap client to ensure game data is directed through optimized network paths. The project utilizes geo-based routing configurations and geographic datasets to balance network routing accuracy and processing efficiency. This allows for the steering of internet traffic based on location to improve connection stability and speed. The system covers broader capabilities in networ

This project is a toolkit and API designed for parsing, manipulating, and visualizing image annotations for computer vision tasks. It provides a programming interface to load and organize Common Objects in Context annotations, specifically for object detection, image segmentation, and keypoint estimation. The library includes tools for converting formatted JSON files into data structures that support the analysis of pixel-level masks and skeletal markers. It enables the visual verification of ground truth accuracy by rendering bounding boxes, segmentation masks, and keypoint markers directly

Gluon-CV es una biblioteca de visión artificial para MXNet que proporciona una colección completa de arquitecturas de visión preimplementadas y tuberías de entrenamiento. Sirve como un kit de herramientas de investigación de aprendizaje profundo y un zoológico de modelos (model zoo) que contiene pesos preentrenados de última generación para análisis de imágenes y video. El proyecto incluye una biblioteca especializada en estimación de pose humana y un kit de herramientas de compresión de modelos. Estas herramientas permiten la poda (pruning) y cuantización de modelos de aprendizaje profundo para aumentar la velocidad de inferencia y facilitar el despliegue en hardware de borde (edge hardware) con recursos limitados. La biblioteca cubre una amplia gama de capacidades de visión, incluyendo clasificación de imágenes, detección de objetos y segmentación semántica e instanciada. También proporciona herramientas para análisis de video, como reconocimiento de acciones, seguimiento de objetos y estimación de profundidad monocular. El entrenamiento es compatible a través de tuberías automatizadas y cargas de trabajo distribuidas multi-GPU para acelerar la convergencia del modelo.

Este proyecto es un currículo educativo de machine learning y plataforma de aprendizaje entregada a través de Jupyter Notebooks interactivos. Sirve como una guía completa para dominar el toolkit de ciencia de datos de Python, proporcionando tutoriales estructurados para computación numérica, manipulación de datos tabulares y visualización estadística. El currículo incluye guías de implementación específicas para Scikit-Learn y un curso práctico sobre TensorFlow para construir, entrenar y desplegar redes neuronales y modelos de visión artificial. Cubre el proceso de extremo a extremo de construcción de modelos predictivos, desde la formulación inicial del problema y categorización de tareas hasta el despliegue de modelos mediante interfaces web interactivas. El proyecto cubre una amplia superficie de capacidades incluyendo computación numérica con arrays multidimensionales, análisis exploratorio de datos y rutinas de preprocesamiento de datos. Proporciona flujos de trabajo detallados para aprendizaje supervisado y no supervisado, pipelines de machine learning automatizado, optimización de hiperparámetros y evaluación de modelos utilizando métricas de clasificación y validación cruzada. El contenido educativo está organizado como una serie de notebooks que intercalan código Python con explicaciones narrativas para documentar flujos de trabajo de ciencia de datos.

pgai es un kit de herramientas y framework de IA para PostgreSQL diseñado para integrar modelos de lenguaje de gran tamaño (LLM) y embeddings vectoriales directamente en la base de datos. Actúa como un puente para ejecutar solicitudes de modelos de machine learning y realizar traducciones de texto a SQL dentro de consultas estándar de base de datos. El proyecto proporciona un pipeline automatizado de embeddings vectoriales que gestiona la carga, el análisis y la fragmentación de texto desde tablas y documentos no estructurados. Este sistema utiliza un worker en segundo plano para sincronizar los embeddings automáticamente a medida que cambian los datos de origen e incluye herramientas especializadas para crear aplicaciones de generación aumentada por recuperación (RAG) y motores de búsqueda semántica. El kit de herramientas cubre amplias áreas de capacidad, incluyendo el procesamiento de datos no estructurados con OCR, la creación de catálogos semánticos para mapear esquemas de bases de datos a lenguaje natural, y la implementación de búsquedas de similitud de alto rendimiento mediante indexación vectorial y reordenamiento de resultados. También permite el enriquecimiento de datos, la clasificación y la moderación de contenido llamando a modelos externos mediante SQL.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

dlt es una herramienta de ingesta de datos en Python y framework de pipeline ETL diseñado para obtener datos de diversas fuentes y persistirlos en destinos estructurados. Funciona como un motor de inferencia de esquemas que detecta automáticamente tipos de datos y aplana estructuras JSON anidadas en tablas relacionales, moviendo datos desde fuentes a lakehouses, almacenes de datos o bases de datos vectoriales. El proyecto destaca por la generación de pipelines impulsada por IA, utilizando modelos de lenguaje de gran tamaño para crear código de extracción y conectores para APIs REST. También admite almacenamiento vectorial multimodal y población especializada de bases de datos vectoriales para soportar aplicaciones de IA y machine learning. El framework cubre una amplia gama de capacidades, incluyendo evolución automática de esquemas, carga incremental de datos mediante seguimiento de estado y validación de calidad de datos mediante la aplicación de contratos de datos. Proporciona herramientas para la normalización de datos relacionales, transformaciones pre y post-carga, y una variedad de adaptadores de destino para bases de datos SQL y almacenes de objetos en la nube. La observabilidad se maneja a través de paneles de ejecución de pipelines, seguimiento de linaje de columnas y verificación de versiones de esquema mediante hashes basados en contenido.

xtuner es un motor de entrenamiento integral para modelos de lenguaje grandes, que ofrece un toolkit para pre-entrenamiento, ajuste fino supervisado (fine-tuning) y la optimización de modelos multimodales de visión-lenguaje. Sirve como un acelerador de entrenamiento distribuido y un framework especializado para escalar modelos de Mezcla de Expertos (MoE) y alinear el comportamiento del modelo mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). El proyecto se distingue por optimizaciones avanzadas de memoria y cómputo, como el paralelismo de secuencia para ventanas de contexto ultra largas y el paralelismo de pipeline entrelazado para reducir el tiempo de inactividad de la GPU. Proporciona una suite dedicada para la optimización de preferencias, implementando técnicas como Group Relative Policy Optimization y Direct Preference Optimization para refinar las políticas del modelo y los sistemas de recompensa. Las áreas de capacidad cubren el entrenamiento distribuido de modelos a través de múltiples nodos, la preparación de datasets multimodales y la gestión del ajuste fino basado en adaptadores. El motor también incluye herramientas para la evaluación de modelos, fusión de pesos y exportación de parámetros entrenados a motores de inferencia. El entrenamiento se gestiona mediante archivos de configuración estandarizados y lanzadores distribuidos para asegurar resultados consistentes a través de clusters de computación.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

OpenPrompt es un framework de aprendizaje de prompts diseñado para adaptar modelos de lenguaje de gran tamaño (LLM) a tareas de procesamiento de lenguaje natural (NLP) posteriores. Proporciona un kit de herramientas integral para implementar estrategias de prompting manual, suave (soft) y continuo, permitiendo refinar los modelos sin actualizar todos los parámetros subyacentes. El proyecto se distingue por su soporte tanto para el ajuste de prompts discretos como continuos. Incluye un sistema para inyectar tokens y embeddings entrenables en las entradas del modelo mediante descenso de gradiente, así como un motor de generación automática de prompts que utiliza búsqueda de haz (beam search) y modelos generativos para descubrir plantillas de texto de alta probabilidad para conjuntos de datos específicos. El framework cubre varias áreas de capacidad principales, incluyendo el diseño de plantillas y la verbalización de etiquetas para mapear etiquetas de clasificación a palabras del vocabulario. También proporciona herramientas de adaptación de modelos para envolver modelos preentrenados, calibración de logits para mejorar la precisión de las predicciones y un pipeline de datos que incluye lógica de muestreo especializada para el aprendizaje con pocos ejemplos (few-shot learning). Los flujos de trabajo de entrenamiento y experimentación se gestionan a través de archivos de configuración que definen escenarios de aprendizaje, hiperparámetros y especificaciones del pipeline.

Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel