1 个仓库
Awesome GitHub RepositoriesServer Instance Swapping
Replacing active model servers by stopping one process and starting another to transition weights.
Distinct from Server Process Management: Focuses on the act of swapping between distinct server processes rather than general process management
Explore 1 awesome GitHub repository matching web development · Server Instance Swapping. Refine with filters or upvote what's useful.
Awesome Server Instance Swapping GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- mostlygeek/llama-swap
mostlygeek/llama-swap
4,786在 GitHub 上查看Llama-swap 是一个用于大语言模型的本地推理编排器和 API 网关。它作为一个 OpenAI API 代理，管理多个本地模型服务器的生命周期，根据传入的请求标识符自动启动和停止服务器以切换模型。 该项目通过动态模型切换和硬件优化脱颖而出。它利用专门的矩阵式并发控制来定义哪些模型可以同时运行，并采用基于成本的驱逐策略，根据相对资源成本从内存中移除不活跃的服务器。 系统提供全面的模型管理功能，包括标识符别名、请求过滤以及容器或虚拟机的生命周期命令执行。它还包含可观测性工具，如可视化模型测试平台、实时系统性能监控，以及 API 密钥验证和 TLS 加密等安全功能。 配置更新通过动态重载处理，监控文件系统变化，无需手动重启。
Manages model transitions by starting and stopping entire server instances instead of reloading weights in-process.
Go
