1 个仓库
Awesome GitHub RepositoriesEncrypted Model Loading
Processes of decrypting and loading model weights from encrypted archives at runtime.
Distinct from Model Serving: Focuses on the encryption of the model artifact itself, not the network TLS layer of the serving infrastructure.
Explore 1 awesome GitHub repository matching devops & infrastructure · Encrypted Model Loading. Refine with filters or upvote what's useful.
Awesome Encrypted Model Loading GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- pytorch/serve
pytorch/serve
4,354在 GitHub 上查看这是一个 PyTorch 模型服务框架，旨在通过可扩展的网络端点在生产环境中部署和扩展机器学习模型。它充当高性能推理服务器、优化器和模型生命周期管理器，处理模型加载、请求批处理和硬件加速。 该系统通过先进的编排和优化功能脱颖而出，例如使用执行图将多个模型链接到顺序工作流中，以及采用动态批处理来提高吞吐量和降低延迟。它通过连续批处理和张量并行化为生成式 AI 和大型语言模型提供专门支持。 广泛的功能领域包括跨 NVIDIA、AMD 和 Apple Silicon 等不同硬件的 GPU 资源管理，以及用于注册、版本控制和工作节点扩展的全面模型生命周期管理。它还集成了用于通过 Prometheus 兼容指标跟踪系统健康状况和模型性能的可观测性工具。 该服务器通过用于生命周期控制和运行时参数配置的命令行界面进行管理。
Loads and serves encrypted model archives using specific decryption keys for enhanced intellectual property protection.
Java
