Awesome GitHub RepositoriesRecursive Text Splitting

Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

This project is a collection of tutorials and guides for building large language model applications using the LangChain framework, written in Chinese. It serves as a learning resource for developing software that integrates language models with memory and chain-based logic. The resource provides specific walkthroughs for implementing retrieval augmented generation systems using vector stores and document loaders. It includes guides on creating autonomous agents that dynamically select and execute external tools, as well as tutorials for translating plain text queries into executable database

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

🎤 微软语音合成工具，使用 Electron Vue ElementPlus Vite 构建。

pgai 是一个 PostgreSQL AI 工具包和框架，旨在将大语言模型和向量嵌入直接集成到数据库中。它充当了在标准数据库查询中执行机器学习模型请求和进行文本转 SQL 翻译的桥梁。 该项目提供了一个自动化的向量嵌入流水线，负责处理来自表和非结构化文档的文本加载、解析和分块。该系统利用后台工作进程在源数据发生变化时自动同步嵌入，并包含用于构建检索增强生成（RAG）应用和语义搜索引擎的专用工具。 该工具包涵盖了广泛的功能领域，包括利用 OCR 处理非结构化数据、创建将数据库模式映射到自然语言的语义目录，以及通过向量索引和结果重排序实现高性能相似度搜索。它还支持通过 SQL 调用外部模型，从而实现数据增强、分类和内容审核。

AutoRAG 是一个用于检索增强生成（RAG）的自动化层和优化工具。它提供了一个框架，通过评估系统和自动搜索策略来衡量流水线性能，该策略可识别检索和生成模块的最有效组合。 该系统通过 AutoML 风格的优化脱颖而出，使用超参数网格搜索和自动试验来为特定数据集找到性能最高的架构配置。它包含一个专门的数据集生成器，可从原始文档创建合成问答对和基准语料库，以建立测试基准。 该项目涵盖了完整的 RAG 生命周期，包括带有 OCR 和表格检测的多模态文档解析、语义文档分块以及基于指标的节点评估。它还包括用于可视化试验结果并将优化后的配置导出为脚本或 API 服务器的实用程序。 该流水线通过 YAML 配置文件进行管理，并支持环境变量注入。

jdpro 是一个容器化的自动化机器人和定时任务运行器，旨在自动化奖励收集和过期数字资产的转换。它作为一组通过容器部署的脚本运行，以确保在不同主机上的一致安装和执行。 该项目包括一个专门的身份验证系统，通过环境变量转换原始密钥并管理会话 cookie，以维持自动登录状态。它还具有一个 Webhook 通知管理器，将任务更新路由到外部服务，利用基于关键字的过滤和负载拆分来管理消息传递并减少干扰。 该系统涵盖了更广泛的功能，包括资产转换调度、账户会话管理和自定义通知格式化。它提供了修复仓库安装和使用 Docker Compose 编排部署的实用工具。

Chonkie 是一个专为检索增强生成 (RAG) 流水线设计的文本分块库。它充当语义文本分割器和 RAG 数据摄取流水线，将原始文本转换为嵌入片段，以便存储在向量数据库中。 该项目通过专门的分割策略脱颖而出，包括用于保留源代码逻辑边界的基于 AST 的代码分割器，以及使用嵌入模型根据语义确定边界的语义文本分割器。它还提供了一个向量数据库摄取器，用于自动化生成嵌入并将其导出到各种存储中。 该库涵盖了广泛的功能，包括通过 OCR 和 Markdown 提取进行文档解析，多种分割方法（如基于 Token 计数和分层分割），以及通过可重用流水线进行工作流编排。它支持多种向量存储集成，包括 Qdrant、Milvus、Weaviate 和 Elasticsearch，以及将数据导出为 JSON 和 Hugging Face 数据集。 用户可以通过命令行界面执行这些操作，或将系统部署为容器化的 API 服务。