1 个仓库
Awesome GitHub RepositoriesLLM Batch Processing
Executing large volumes of language model tasks concurrently to increase throughput.
Distinct from Batch Processing Jobs: Existing batch processing candidates are for images or clusters, not LLM API throughput.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · LLM Batch Processing. Refine with filters or upvote what's useful.
Awesome LLM Batch Processing GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- promptslab/promptify
promptslab/Promptify
4,616在 GitHub 上查看Promptify 是一套专为模型评估、提示词管理、Token 成本跟踪、结构化提取和统一 API 网关访问而设计的工具。它提供了一个标准化接口，用于管理跨多个大型语言模型提供商的请求和响应。 该项目具有一个提示词管理平台，用于工程化和版本化带有结构化输出验证的提示词。它包括一个专门的评估框架，用于根据标记数据集测量模型性能（使用精确率、召回率和 F1 分数），以及一个 Token 成本跟踪器来监控模型请求的财务支出。 该库涵盖了自然语言处理的广泛功能，包括命名实体提取、文本分类和问答。它通过异步批处理支持高容量工作流，并通过模式验证将非结构化文本转换为类型化数据结构，从而确保数据一致性。
Enables concurrent execution of high-volume language model tasks to reduce total processing time.
Python
