Awesome GitHub RepositoriesPre-training Transfer Learning

This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad

FastPhotoStyle 是一款 AI 图像风格化工具和深度学习风格迁移框架。它作为一种基于特征的图像转换器，利用深度神经网络将参考图像的艺术视觉特征应用到目标照片上。 该项目通过使用前馈网络实现实时图像风格化。这使得系统能够以单次传递（single pass）的方式执行转换，而无需使用迭代优化。 该框架涵盖了 AI 照片编辑和深度学习视觉特效，特别专注于图像纹理和颜色的转换，以将摄影内容与艺术风格相融合。

Chinese-BERT-wwm is a pre-trained transformer model and encoder designed for Chinese natural language processing. It converts Chinese text into dense vector representations to be used across various natural language processing applications. The model utilizes a whole word masking strategy during pre-training, masking entire words rather than individual characters. This approach is designed to improve the capture of semantic meaning and language structure within Chinese datasets. The project covers a range of downstream tasks including text classification, sequence labeling, and reading compr

ESPnet is a comprehensive speech processing toolkit and PyTorch-based trainer designed for building end-to-end speech recognition, synthesis, and translation models. It provides a structured framework for developing automatic speech recognition systems using transducer and encoder-decoder architectures, alongside engines for text-to-speech synthesis and speech translation pipelines. The project distinguishes itself through a recipe-based workflow execution system that ensures experimental reproducibility by running standardized sequences of scripts for data preparation and model training. It

TensorFlow-Tutorials is a collection of educational resources and guided tutorials for implementing machine learning models using the TensorFlow framework. It provides instructional material and videos for building deep learning architectures across diverse domains, including computer vision, natural language processing, and time-series prediction. The project offers practical guides for developing specific applications such as image captioning, style transfer, and machine translation. It emphasizes a structured approach to learning, ranging from simple linear models to complex reinforcement

The PyTorch Tutorials repository is a collection of educational resources that provides step-by-step guidance on building, training, and deploying neural networks using the PyTorch framework. It covers the complete machine learning workflow, from data loading and model definition through optimization loops and model persistence, with dedicated guides for distributed training, model fine-tuning, and deployment. The tutorials offer practical demonstrations of adapting pre-trained models to new tasks through transfer learning, scaling training across multiple GPUs or machines using PyTorch's dis

CodeGeeX is an open-source code model and multilingual large language model designed to generate, translate, and complete source code across multiple programming languages. It functions as an AI coding assistant and a cross-lingual code translator that produces executable code and technical documentation. The project enables natural language programming by turning plain English descriptions into functional programs. It also provides the ability to convert source code from one programming language to another while preserving the original logic and functionality. The system covers a range of c

这是一个机器学习框架，用于将多样化的自然语言处理任务视为统一的文本到文本问题。它提供了一个用于预训练和微调大规模 Transformer 模型的工具包，利用一种将输入和输出都格式化为原始文本序列的系统。 该框架的特色在于其分布式训练系统，该系统使用基于网格的策略跨多个 TPU 核心扩展模型权重和训练批次。它通过使用可配置的混合率将多样化的数据集组合成单一训练流来支持多任务学习，从而允许单个模型处理各种语言任务。 该系统涵盖了广泛的功能，包括编码器-解码器架构、用于文本生成的束搜索解码以及迁移学习工作流。它包括用于 NLP 数据集准备、模型性能评估以及导出训练检查点以进行生产服务的实用程序。 该库支持加载各种大小的预训练模型检查点以加速开发。

Skorch 是一个将 PyTorch 神经网络包装在 scikit-learn 兼容接口中的库，允许在标准机器学习流水线和超参数优化工具中使用深度学习模型。它充当数据适配器、训练管理器和优化工具，弥合了深度学习模块与传统机器学习工作流之间的差距。 该项目通过提供用于自动化 PyTorch 训练生命周期的工具包而脱颖而出，包括集成的检查点保存、提前停止和学习率调度。它还通过用于冻结特定模型层和针对特定任务微调预训练权重的实用程序，实现了迁移学习。 能力面扩展到数据转换，包括将表格数据和数值数组转换为张量格式以及注册文本分词器。它还提供了用于硬件加速选择、即时模块编译以及用于不确定性量化的概率数据建模的工具。 该系统包括用于将超参数映射到命令行参数的实用程序，以确保实验的可重复性。

Gluon-CV 是一个 MXNet 计算机视觉库，提供了一系列预实现的视觉架构和训练管线。它作为一个深度学习研究工具包和模型库，包含用于图像和视频分析的最先进预训练权重。 该项目包括一个专门的人体姿态估计库和模型压缩工具包。这些工具允许对深度学习模型进行剪枝和量化，以提高推理速度并促进在受限边缘硬件上的部署。 该库涵盖了广泛的视觉功能，包括图像分类、目标检测以及语义和实例分割。它还提供视频分析工具，如动作识别、目标跟踪和单目深度估计。 训练通过自动化管线和分布式多 GPU 工作负载提供支持，以加速模型收敛。

This is a comprehensive deep learning course delivered entirely through Jupyter Notebooks, designed to teach neural network construction using TensorFlow 2.x. The curriculum follows a sequential-model-first pedagogy, introducing the Sequential API before moving to functional and subclassing approaches, and covers the full spectrum of model building from regression and classification through convolutional neural networks, natural language processing, and time series forecasting. The course is structured around a checkpoint-based training workflow that saves the best model weights during traini

DeepLabCut 是一个用于无标记 2D 和 3D 动物姿态估计的深度学习工具包。它作为一个运动跟踪系统，无需物理标记即可识别视频序列中动物的解剖关键点。 该框架利用迁移学习和预训练权重库来加速针对不同物种的网络训练。它支持多体身份跟踪以在视频序列中保持唯一身份，并提供用于实时视频流的姿态检测功能。 该系统涵盖了广泛的计算机视觉功能，包括 3D 空间运动分析、解剖标记跟踪和自监督预测细化。它包括用于训练数据标注的实用程序，以及用于集成自定义神经网络架构的模型注册表。 该软件提供 Docker 容器化，以确保在不同操作系统上的一致安装和执行。

This repository is a curated study resource of interview questions and answers for data science roles. It covers the core domains of machine learning, statistics, Python programming, SQL databases, deep learning, and algorithmic problem solving. The content is organized as static Markdown files with a structured question-and-answer format, making it easy to read and navigate without any server-side processing. The material distinguishes itself by pairing each question with a detailed explanation and often a code example, covering both conceptual knowledge and practical application. Topics ran

VITS-fast-fine-tuning 是一个使用小型音频数据集将语音合成模型适配到特定目标音色的流水线。它充当快速说话人适配工具和多语言语音合成器，能够生成跨不同语言的口语音频。 该系统提供了一个用于多对多语音转换的框架，在保留原始语言内容的同时转换说话人的身份。它允许通过使用音频片段或视频源微调预训练模型来适配文本转语音的音色。 该项目涵盖端到端语音合成和音频处理，利用对抗性波形生成和单调对齐搜索来产生高保真音频。它结合了随机持续时间预测器来管理说话节奏的变化，并支持预训练模型迁移。

该项目是一个专为命名实体识别（NER）和文本分类设计的自然语言处理系统。它使用机器学习方法从原始文本中识别特定名称和关键信息，从而将非结构化内容组织为结构化格式。 该系统实现了多层架构，结合了用于嵌入的预训练 Transformer、用于序列建模的双向长短期记忆网络（Bi-LSTM）以及用于标签转换的条件随机场（CRF）。它通过在特定任务数据集上微调这些模型来支持迁移学习。 该项目包含使用指定配置和词汇表文件在自定义数据集上训练模型的能力。它还提供了一种将训练好的模型部署为网络服务的机制，允许通过 HTTP 服务器进行文本分类和实体识别。

该项目是一个 PyTorch 人员重识别框架，专为训练和评估识别不同摄像机视角下个人的模型而设计。它提供了一个完整的模型训练管线、用于将图像转换为数字向量的深度学习特征提取器，以及一套用于衡量身份检索准确性的计算机视觉基准测试工具。 该框架包括一个专门的迁移学习工具包，支持层冻结、分阶段学习率优化和用于微调预训练模型的差异化学习率。它通过一个可扩展的引擎脱颖而出，该引擎允许开发自定义训练逻辑，并实现特定的优化目标，如困难样本三元组损失挖掘（hard-sample triplet loss mining）和标签平滑。 该系统涵盖了全面的数据集管理，包括对标准基准、平衡批次采样和图像增强的支持。它提供用于计算检索排名和特征距离的评估实用程序，以及用于生成激活热力图和排名检索库的可视化工具。 该项目使用 Python 实现，并利用 PyTorch 进行深度学习操作。

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel

这是一个使用 TensorFlow 2 构建、训练和部署机器学习模型的综合教育资源和教程手册。它作为结构化学习指南，涵盖了深度学习的核心概念，包括神经网络架构、自动微分和张量运算。 该手册提供了关于通过 GPU 内存管理、分布式训练和模型量化来优化执行效率的技术指导。它还包括用于构建高性能数据管道以及将模型导出到生产服务器、移动设备和 Web 浏览器的详细手册。 该材料涵盖了广泛的功能，包括使用卷积和循环网络的模型开发、自定义损失函数和层的实现，以及使用预训练模型进行迁移学习。它还探讨了边缘设备的部署策略以及使用基于云的运行时进行硬件加速。 该资源以 Jupyter Notebooks 集合的形式实现。

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,