Awesome GitHub RepositoriesNeural Network Model Compression

This project is a Python implementation of the Faster R-CNN object detection framework. It serves as a convolutional neural network library and tool for locating and classifying multiple objects within images. The framework provides a pre-trained model implementation that allows for object detection inference without manual training. It supports the full lifecycle of object detection, including training detectors on visual datasets to identify and bound specific object classes. The system covers capabilities for computer vision model evaluation, neural network optimization to reduce model si

Este proyecto es una colección de Jupyter Notebooks educativos que ofrecen tutoriales sobre la construcción de redes neuronales y operaciones con tensores utilizando el framework TensorFlow. Sirve como repositorio educativo de machine learning y guía de implementación para estudiantes de deep learning. La suite se centra en arquitecturas avanzadas específicas, incluyendo redes convolucionales para clasificación de imágenes, redes residuales con conexiones de salto (skip connections) para la estabilidad del entrenamiento y autoencoders variacionales para modelado generativo y síntesis de datos. También incluye guías para construir autoencoders de eliminación de ruido (denoising) y profundos para realizar extracción de características y reducción de dimensionalidad. El repositorio cubre un espectro más amplio de modelado predictivo, con implementaciones de regresión lineal, polinómica y logística para predecir valores continuos y resultados binarios. El contenido está organizado en notebooks interactivos que permiten a los usuarios ejecutar operaciones matemáticas y modificar experimentos de machine learning.

AutoGPTQ es un kit de herramientas de compresión de modelos y un framework de cuantización post-entrenamiento diseñado para reducir la huella de memoria de modelos de lenguaje grandes. Utiliza el algoritmo GPTQ para comprimir los pesos de las redes neuronales, reduciendo los requisitos de hardware y el uso de VRAM. El proyecto sirve como un acelerador de inferencia al proporcionar kernels optimizados que aumentan la velocidad de generación de tokens. Cuenta con extensibilidad de arquitectura de modelo, permitiendo que las capacidades de cuantización se añadan a nuevas estructuras de modelos mediante patrones configurables. El framework cubre una tubería de cuantización integral, incluyendo compresión de pesos por capa, estimación de escala basada en calibración y mapeo de memoria específico de precisión. También incluye sistemas para la evaluación del rendimiento del modelo para medir el impacto de la cuantización en la precisión en tareas de lenguaje y resumen.

Este proyecto es una colección de ejemplos de aprendizaje automático de TensorFlow que proporciona implementaciones de referencia para varios paradigmas de redes neuronales. Cubre modelos de aprendizaje supervisado, no supervisado, por refuerzo y secuencial. El repositorio incluye implementaciones para redes neuronales convolucionales centradas en la clasificación y clasificación de imágenes, así como redes neuronales recurrentes para pronóstico de series temporales y traducción de secuencia a secuencia. Proporciona además ejemplos de agentes de aprendizaje por refuerzo entrenados mediante optimización de recompensas y técnicas de aprendizaje no supervisado como autoencoders y mapas autoorganizados para la agrupación de datos. Las capacidades adicionales cubren la regresión y clasificación supervisada, la generación de embeddings semánticos y el uso de modelos ocultos de Markov para el modelado de datos secuenciales. El proyecto también incluye utilidades para la gestión de operaciones de tensores y la visualización del rendimiento del modelo mediante paneles. El contenido se entrega como una serie de Jupyter Notebooks.

This research framework provides a deep learning driving simulator and a multimodal data pipeline for autonomous vehicle research. It centers on the creation of synchronized autonomous vehicle datasets, which combine high-frequency vehicle telemetry with camera frames to train neural networks. The project implements a convolutional neural network trainer specifically designed to predict steering angles and vehicle transition states from visual data. It features generative capabilities, using autoencoders and transition models to synthesize driving environments and simulate future vehicle move

Pretrained-Language-Model is a machine learning library and natural language processing toolkit designed for pretraining, tokenizing, and compressing large language models using transformer architectures and specialized optimization techniques. It supports Chinese and multilingual natural language processing tasks, including text classification and conversational response generation. The framework provides specialized capabilities for training large-scale autoregressive and contextual language models, alongside model compression techniques like knowledge distillation and quantization to reduc

Instructor-embedding es un framework de procesamiento de lenguaje natural diseñado para transformar texto no estructurado en vectores numéricos de alta dimensión. Al utilizar una arquitectura de codificador basada en transformers, el sistema facilita la recuperación semántica, la clasificación de datos y el análisis de similitud en grandes datasets. El framework se distingue por la proyección vectorial condicionada por instrucciones, que incorpora instrucciones en lenguaje natural directamente en el proceso de embedding para mejorar el rendimiento en tareas específicas sin requerir entrenamiento adicional. Funciona como una librería de aprendizaje contrastivo, permitiendo a los usuarios ajustar modelos de lenguaje preentrenados en datasets personalizados para crear embeddings especializados para dominios de nicho. El proyecto proporciona un conjunto integral de herramientas para gestionar representaciones vectoriales, incluyendo capacidades para realizar benchmarks de precisión de modelos contra métricas estandarizadas e indexar embeddings para búsquedas de similitud rápidas. Para soportar el despliegue en entornos con recursos limitados, el framework incluye características de optimización como la cuantización de modelos de precisión mixta para reducir el uso de memoria y acelerar la velocidad de inferencia.

Knowledge-Distillation-Zoo es un framework para la compresión de modelos de redes neuronales que facilita la transferencia de patrones aprendidos de modelos profesores grandes a arquitecturas de estudiantes más pequeñas. Proporciona un entorno modular para ejecutar tuberías de entrenamiento diseñadas para reducir los requisitos computacionales de los modelos de deep learning mientras se mantiene la precisión predictiva. La biblioteca implementa la transferencia de conocimiento tanto a través de mimetismo basado en logits como de alineación de mapas de características, permitiendo a los estudiantes replicar el comportamiento de clasificación y las representaciones internas de un profesor. Admite el desacoplamiento profesor-estudiante, donde el modelo profesor permanece congelado durante el proceso de entrenamiento, y utiliza una composición de pérdida modular para equilibrar los objetivos específicos de la tarea con penalizaciones específicas de la destilación. El kit de herramientas incluye una interfaz de línea de comandos para gestionar flujos de trabajo de entrenamiento y admite la inyección de parámetros configurables para intercambiar entre diferentes estrategias de destilación. Está construido como una biblioteca para PyTorch, proporcionando un entorno estructurado para optimizar redes neuronales para su despliegue en hardware con recursos limitados.

This project provides a TensorFlow implementation of the Stable Diffusion model, serving as a generative engine for creating and modifying visual content. It functions as a machine learning architecture that translates natural language descriptions into high-quality images by iteratively refining noise within a compressed latent space. The system enables a variety of generative tasks, including text-to-image synthesis, image inpainting to fill missing or masked regions, and image editing to transform existing visuals based on text prompts. Beyond static imagery, the framework supports the gen

This project provides a comprehensive educational curriculum and research resource for deep learning, focusing on the theoretical and technical foundations of neural network implementation. It serves as a structured academic guide for building and training complex models from scratch, covering the essential mathematical primitives, computational graph construction, and automatic differentiation mechanisms required for modern machine learning. The repository distinguishes itself through its extensive coverage of generative modeling and specialized neural architectures. It includes practical im