Awesome GitHub RepositoriesText Cleaning

zotero-gpt is an extension that integrates large language models with a reference management system to assist in the analysis and summarization of academic research papers. It functions as a research paper AI assistant capable of querying PDF documents and extracting insights directly from academic libraries. The tool features a contextual research search system that locates items within a library based on the semantic meaning of selected text. It includes a visual interface that renders AI-generated responses using Markdown and supports the display of complex mathematical formulas. The syst

这是一个用于自动语音识别的 Windows 应用程序，将视频文件中的口语转录为带时间戳的 SRT 字幕文件。它作为一个字幕生成器和翻译工具，将媒体语音转换为同步文本。 该软件作为一个批量媒体转录器，允许同时处理多个音频和视频文件以批量生成字幕。它包括一个翻译工作流，用于在不同语言间转换转录内容，以创建双语或本地化文件。 该系统还提供文本优化能力，使用正则表达式和自定义过滤器通过移除填充词和不需要的模式来清理转录内容。此功能由原生 Windows 图形用户界面支持。

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

CrawlerTutorial 是一个全面的 Python 网络爬虫教程和框架，旨在从静态和动态网站中提取数据。它作为一个网络数据提取管道和 HTTP 请求编排器，涵盖了从初始获取到最终数据存储的爬虫应用程序全生命周期。 该项目提供了关于反机器人绕过技术和 Web API 逆向工程的专业指导。它包括通过身份掩码和代理轮换规避浏览器检测的方法，以及通过分析网络流量和请求签名识别隐藏 API 端点的技术。 该框架包含广泛的功能，包括针对 JavaScript 重度页面的浏览器自动化、通过 QR 码或短信的自动用户身份验证以及会话持久性管理。它还具有用于清理原始文本、删除重复记录并将收集到的信息持久化到平面文件或关系数据库中的数据预处理工具。

Spark NLP 是一个构建在 Apache Spark 分布式计算框架之上的可扩展文本分析和机器学习工具包。它提供了一个多模态机器学习框架和一个用于对标注器进行排序以处理大规模语言数据的分布式流水线系统。该库包含一个用于生成上下文向量嵌入的 Transformer 文本处理器，以及一个用于管理大型语言模型的专用推理引擎。 该项目通过其在统一视觉-语言架构内处理异构数据类型（包括文本、音频和图像）的能力而脱颖而出。它支持高级生成式 AI 功能，如提示工程、具有约束 JSON 输出的结构化实体提取，以及消除网络延迟的本地推理。此外，它还提供跨文本和图像模态的跨语言翻译和零样本分类工具。 该框架涵盖了广泛的功能，包括用于实体识别和情感分析的监督模型训练，以及抽取式问答和文档摘要。它集成了向量数据库支持以进行相似性搜索，并为 GPU 加速和通过集中式注册表进行模型生命周期管理提供了基础设施。 该工具包允许通过公共仓库分发自定义模型和流水线，并支持通过 REST API 部署模型。

python-ftfy 是一个 Unicode 文本修复库，旨在修复乱码和编码故障。它提供字节编码检测、HTML 实体解码以及恢复损坏文本以将其还原为预期 Unicode 形式的实用程序。 该项目通过一个多层解码流水线脱颖而出，该流水线可识别并还原复杂的编码混淆。它使用基于启发式的检测来解决在多层损坏中因使用错误编码解码文本的情况，并且可以处理非标准 UTF-8 变体和不规范的编码映射。 该库还涵盖了广泛的文本标准化任务，包括 Unicode 规范化、换行符标准化和拉丁连字扩展。它包括字符宽度规范化以及删除终端转义符和控制字符的功能。 提供了一个命令行界面，用于自动化检测和修复文件中的 Unicode 故障。

这是一个 Unicode 文本修复工具和乱码（Mojibake）纠正库，旨在修复编码故障并从乱码字符串中恢复原始字符。它作为一个文本编码检测器和 Unicode 规范化工具，用于解决文本解码错误的问题。 该库专注于反转多层编码错误并修复复杂的乱码模式。它包括检测有损编码序列、猜测字节编码以及解码非标准 UTF-8 变体的功能。 该工具集涵盖了广泛的文本清理和规范化任务，包括解码 HTML 实体和反斜杠转义、扩展拉丁连字，以及标准化字符宽度和换行符。它还提供了用于删除不可见控制字符和按码点检查 Unicode 字符串的实用程序。 提供了一个命令行界面，用于修复文件或输入流中的 Unicode 故障和编码错误。