3 مستودعات
Awesome GitHub RepositoriesAutomatic ML Workload Batching
Automatic batching of GPU and ML workloads like text embeddings to achieve higher throughput without manual configuration.
Distinct from Automatic Batch Size Optimization: Distinct from Automatic Batch Size Optimization: focuses on batching entire workloads rather than just optimizing batch size for a single model.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Automatic ML Workload Batching. Refine with filters or upvote what's useful.
Awesome Automatic ML Workload Batching GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- cocoindex-io/cocoindex
cocoindex-io/cocoindex
6,117عرض على GitHubCocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi
Automatically batches GPU and ML workloads like text embeddings for higher throughput.
Rustagentic-data-frameworkaiai-agents - reactwg/react-18
reactwg/react-18
5,195عرض على GitHubهذا المشروع عبارة عن مجموعة عمل برمجية تعاونية ومسار إصدار يركز على التطوير التقني وطرح تحديث مكتبة React 18. يعمل كجهد تنسيق مجتمعي ومنتدى نقاش لإدارة المعالم ومجموعات الميزات لهذا الإصدار الرئيسي من إطار عمل الواجهة الأمامية. تسهل مجموعة العمل تنسيق إصدار البرمجيات مفتوحة المصدر وتخطيط إصدارات البرامج من خلال مجموعة موزعة من المساهمين. تركز على جمع التعليقات التقنية المجتمعية وإدارة المناقشات العامة لتحسين كود المكتبة ووثائقها قبل الإصدار الرسمي. يغطي نطاق التطوير عرض واجهة المستخدم المتزامن، وإدارة حالة الواجهة الأمامية، وتحسين منطق التوفيق والعرض الداخلي.
Groups multiple state updates into a single render pass to improve performance and reduce repaints.
- llm-d/llm-d
llm-d/llm-d
2,514عرض على GitHubllm-d is a distributed serving framework designed for large language model inference. It functions as an inference orchestrator and gateway, providing a control plane for deploying model replicas and managing hardware accelerators. The system includes a batch inference scheduler and a cache manager to coordinate request flow and memory utilization. The project is distinguished by a disaggregated serving architecture that separates prefill and decode execution phases across specialized workers to maximize throughput. It employs a hardware-agnostic control plane and tiered cache offloading, mov
Provides a disaggregated prefill and decode topology specifically designed to maximize throughput for batch-intensive LLM workloads.
Shell
