1 مستودع
Awesome GitHub RepositoriesEncrypted Model Loading
Processes of decrypting and loading model weights from encrypted archives at runtime.
Distinct from Model Serving: Focuses on the encryption of the model artifact itself, not the network TLS layer of the serving infrastructure.
Explore 1 awesome GitHub repository matching devops & infrastructure · Encrypted Model Loading. Refine with filters or upvote what's useful.
Awesome Encrypted Model Loading GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- pytorch/serve
pytorch/serve
4,354عرض على GitHubهذا المشروع هو إطار عمل لخدمة نماذج PyTorch مصمم لنشر وتوسيع نطاق نماذج تعلم الآلة في الإنتاج عبر نقاط نهاية شبكة قابلة للتوسع. يعمل كخادم استنتاج عالي الأداء، ومحسن، ومدير دورة حياة النموذج الذي يتعامل مع تحميل النموذج، وتجميع الطلبات، وتسريع الأجهزة. يتميز النظام بقدرات تنسيق وتحسين متقدمة، مثل ربط نماذج متعددة في سير عمل تسلسلي باستخدام رسوم بيانية للتنفيذ واستخدام التجميع الديناميكي لتحسين الإنتاجية وزمن الانتقال. يوفر دعماً متخصصاً للذكاء الاصطناعي التوليدي ونماذج اللغات الكبيرة من خلال التجميع المستمر وتوازي الموترات (tensor parallelism). تغطي مجالات القدرات الواسعة إدارة موارد GPU عبر أجهزة متنوعة مثل NVIDIA وAMD وApple Silicon، بالإضافة إلى إدارة شاملة لدورة حياة النموذج للتسجيل، وإصدار النسخ، وتوسيع نطاق العمال (workers). كما يدمج أدوات مراقبة لتتبع صحة النظام وأداء النموذج عبر مقاييس متوافقة مع Prometheus. يتم إدارة الخادم من خلال واجهة سطر أوامر تستخدم للتحكم في دورة الحياة وتكوين معلمات وقت التشغيل.
Loads and serves encrypted model archives using specific decryption keys for enhanced intellectual property protection.
Java
