Awesome GitHub RepositoriesLinear Transformations

Flashlight es una biblioteca de aprendizaje automático en C++ y un framework de aprendizaje profundo diseñado para construir y entrenar redes neuronales. Funciona como una biblioteca de manipulación de tensores y un motor de diferenciación automática que rastrea operaciones para calcular gradientes mediante retropropagación (backpropagation) para la optimización de modelos. El proyecto se distingue por su rol como framework de entrenamiento distribuido, utilizando sincronización de gradientes all-reduce y entornos distribuidos para escalar cargas de trabajo de aprendizaje automático a través de múltiples nodos y dispositivos. Cuenta con una interfaz de memoria agnóstica al backend y gestión basada en RAII para desacoplar las operaciones de tensores del hardware físico. El framework cubre una amplia superficie de capacidades, incluyendo la construcción de arquitecturas de redes neuronales con capas convolucionales, lineales y recurrentes. Proporciona utilidades extensas para álgebra de tensores, gestión y batching de datasets, serialización binaria versionada para estados de modelos y herramientas de monitorización para rastrear métricas de entrenamiento y uso de memoria.

Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.

Este proyecto es un framework de aprendizaje contrastivo auto-supervisado diseñado para entrenar modelos de aprendizaje profundo para aprender representaciones visuales a partir de imágenes sin utilizar etiquetas proporcionadas por humanos. Proporciona un sistema para desarrollar modelos de representación visual preentrenados que pueden adaptarse para tareas de visión artificial posteriores. El framework incluye herramientas para la clasificación de imágenes semi-supervisada, que combina grandes conjuntos de datos sin etiquetar con pequeños conjuntos etiquetados para mejorar la precisión. También cuenta con una herramienta de evaluación de sonda lineal (linear probe) para evaluar la calidad de las características de imagen aprendidas entrenando un clasificador lineal simple sobre representaciones congeladas. El código base cubre el entrenamiento de aprendizaje profundo distribuido y la aceleración por hardware para manejar grandes tamaños de lote, junto con primitivas de optimización como la programación de tasa de aprendizaje de decaimiento de coseno y regularización de decaimiento de peso. También proporciona utilidades para la gestión de modelos, incluyendo la conversión de checkpoints preentrenados entre diferentes formatos de frameworks de aprendizaje profundo y herramientas para el despliegue de modelos. La implementación se proporciona como una colección de Jupyter Notebooks.