Awesome GitHub RepositoriesClassification Fine-Tuning

Code release for ConvNeXt model

该项目是一个自然语言处理框架，专注于为无监督语言表示设计的通用自回归预训练器。它实现了一个结合了基于排列的训练与 Transformer-XL 主干的语言模型，以充当长上下文文本处理器。 该系统以其通过使用段级循环和相对位置编码处理超过标准长度限制的文本序列的能力而著称。它使用分布式训练实现，在多个 GPU 和 TPU 集群上扩展高性能预训练。 代码库涵盖了完整的机器学习工作流，包括用于数据预处理的文本清洗和子词分词，以及用于问答、阅读理解和文本分类的任务特定微调。它包括用于参数优化、学习率调度以及通过精确率-召回率指标评估答案概率的实用程序。 该项目提供了用于管理模型超参数和跨多个主机进行硬件加速训练的配置。

PaddleX is a PaddlePaddle-based framework for building, deploying, and fine-tuning AI model pipelines, with pre-built support for computer vision, OCR, document analysis, and time series tasks. It offers a toolkit of ready-to-use pipelines for image classification, object detection, segmentation, and pose estimation, alongside an end-to-end OCR document analysis pipeline that extracts text, tables, formulas, and layout information. The platform also includes a dedicated time series forecasting pipeline for analyzing historical data to detect anomalies, classify patterns, and predict future val

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

该项目是一个专为命名实体识别（NER）和文本分类设计的自然语言处理系统。它使用机器学习方法从原始文本中识别特定名称和关键信息，从而将非结构化内容组织为结构化格式。 该系统实现了多层架构，结合了用于嵌入的预训练 Transformer、用于序列建模的双向长短期记忆网络（Bi-LSTM）以及用于标签转换的条件随机场（CRF）。它通过在特定任务数据集上微调这些模型来支持迁移学习。 该项目包含使用指定配置和词汇表文件在自定义数据集上训练模型的能力。它还提供了一种将训练好的模型部署为网络服务的机制，允许通过 HTTP 服务器进行文本分类和实体识别。

该项目是一个命名实体识别框架和基于 TensorFlow 的自然语言处理模型。它提供了一个流水线，用于将预训练语言模型适配到特定的实体识别和文本分类任务。 该系统实现了序列标注架构，结合了基于 Transformer 的嵌入、双向序列建模和条件随机场（CRF）解码。它包括用于微调模型权重和训练网络以识别并分类非结构化文本中实体的工具。 该框架还包含一个客户端-服务器架构，通过 HTTP API 暴露训练好的模型。这允许通过网络接口进行远程推理、命名实体预测和文本分类。

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

这是一个基于 PyTorch 的中文文本分类框架。它提供了一个基于 Transformer 的流水线，旨在利用深度学习模型将中文序列分类为预定义的标签。 该实现支持 BERT 和 ERNIE 语言模型，用于处理和标记复杂的中文文本。这些模型用于执行情感分析和通用文本分类等任务。 该系统利用基于 Transformer 的文本编码和注意力加权序列池化，将原始字符转换为文档向量。它采用预训练模型微调和交叉熵损失优化，以使模型适应特定的分类任务。

BioGPT is a biomedical large language model and domain-specific transformer designed for processing and creating specialized medical text. It functions as a generative tool and knowledge extraction engine trained on large-scale scientific literature to produce human-like scientific prose and factual responses to queries. The project provides specialized capabilities for biomedical named entity recognition and the extraction of complex relations from unstructured medical corpora. It is designed to identify and classify biological entities through data mining and relation extraction to support

R1-V 是一套用于开发多模态模型的工具集，提供了一个低成本的训练环境，旨在优化大型视觉语言模型的推理和反馈循环。它集成了训练框架、微调流水线和性能评估工具。 该项目具有一个强化学习框架，通过基于视觉验证奖励正确输出来提高视觉推理和泛化能力。它还包括一个监督微调流水线，用于使用标记数据集和配置文件将视觉语言模型定制到特定任务。 该套件包含专门用于评估模型在计数和几何任务中性能的视觉推理评估工具和数据集。

该项目是用于视频动作识别的 3D 残差网络（3D Residual Networks）的 PyTorch 实现。它提供了一种时空架构，通过分析空间帧和时间运动来对视频片段中的人类活动进行分类。 该系统包含一个分布式模型训练框架，以加速跨多个计算节点的学习过程。它支持预训练模型权重的部署与微调，允许将现有网络适配到特定的新数据集。 代码库涵盖了时空学习的全流程，包括用于将原始文件转换为图像序列的视频数据集预处理工具、动作推理功能以及用于计算识别准确率的指标。

本项目是 ALBERT 语言模型架构的实现，提供了一个用于训练和评估基于 Transformer 的文本分类器和相似度模型的框架。它特别包括针对生成中文文本的语义嵌入和表示而优化的预训练资产和工具。 该框架通过将重型语言模型检查点转换为轻量级格式以在移动设备上实现低延迟推理的工具脱颖而出。它利用特定的权重缩减技术，包括跨参数共享和因子分解嵌入参数化，以在较小的内存占用下保持性能。 该系统涵盖了自然语言处理的完整流水线，从原始文本归一化和子词分词，到使用掩码语言建模的自监督预训练。它提供下游任务适配功能，允许对预训练模型进行微调以进行文本相似度分析和监督分类。 该项目包括用于二进制记录数据转换和模型格式转换的实用程序，以确保跨不同机器学习平台的兼容性。

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

Instructor-embedding 是一个自然语言处理框架，旨在将非结构化文本转换为高维数值向量。通过利用基于 Transformer 的编码器架构，该系统促进了大规模数据集上的语义检索、数据分类和相似度分析。 该框架通过指令条件向量投影脱颖而出，它将自然语言指令直接纳入嵌入过程，从而在无需额外训练的情况下提高特定任务的性能。它作为一个对比学习库，允许用户在自定义数据集上微调预训练语言模型，为特定领域创建专业化的嵌入。 该项目提供了一套全面的向量表示管理工具，包括针对标准化指标对模型准确性进行基准测试，以及为快速相似度搜索建立嵌入索引的功能。为了支持在资源受限环境中的部署，该框架包含了混合精度模型量化等优化功能，以减少内存使用并加速推理速度。