1 个仓库
Awesome GitHub RepositoriesGeneration Stream Batching
Maintains independent parser states for multiple concurrent language model generation streams within a single batch.
Distinct from Batch Request Execution: Distinct from API request batching: specifically manages state-machine parser contexts for concurrent LLM token generation.
Explore 1 awesome GitHub repository matching web development · Generation Stream Batching. Refine with filters or upvote what's useful.
Awesome Generation Stream Batching GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- noamgat/lm-format-enforcer
noamgat/lm-format-enforcer
2,022在 GitHub 上查看该库提供了一个在令牌生成过程中对语言模型输出强制执行结构约束的框架。它作为中间件运行，限制模型响应严格遵守预定义的 JSON 模式或正则表达式，确保生成的文本是机器可读的，并与下游数据消费保持一致。 该项目通过直接与推理引擎集成，在最终采样阶段之前拦截令牌概率分布而脱颖而出。通过利用状态机解析和递归模式分解，它执行前瞻验证以剪除无效的令牌序列。这种方法允许对输出进行精确控制，包括强制执行 JSON 对象内的特定字段顺序，以及通过批处理约束执行来处理多个并发生成流的能力。 该库支持广泛的集成策略，允许其跨不同的模型后端和推理服务器环境运行。它包含用于分析这些约束对性能影响的诊断工具，确保在不同硬件设置下的兼容性和效率。该软件作为 Python 包分发，旨在集成到现有的推理流水线中。
Enables efficient handling of multiple concurrent generation streams by maintaining separate parser states for each request.
Python
