3 रिपॉजिटरी
Awesome GitHub RepositoriesAutomatic ML Workload Batching
Automatic batching of GPU and ML workloads like text embeddings to achieve higher throughput without manual configuration.
Distinct from Automatic Batch Size Optimization: Distinct from Automatic Batch Size Optimization: focuses on batching entire workloads rather than just optimizing batch size for a single model.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Automatic ML Workload Batching. Refine with filters or upvote what's useful.
Awesome Automatic ML Workload Batching GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- cocoindex-io/cocoindex
cocoindex-io/cocoindex
6,117GitHub पर देखेंCocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi
Automatically batches GPU and ML workloads like text embeddings for higher throughput.
Rustagentic-data-frameworkaiai-agents - reactwg/react-18
reactwg/react-18
5,195GitHub पर देखेंयह प्रोजेक्ट React 18 लाइब्रेरी अपडेट के तकनीकी विकास और रोलआउट पर केंद्रित एक सहयोगी सॉफ़्टवेयर वर्कग्रुप और रिलीज़ ट्रैक है। यह इस प्रमुख फ्रंटएंड फ्रेमवर्क संस्करण के मील के पत्थर और सुविधा सेटों के प्रबंधन के लिए एक सामुदायिक समन्वय प्रयास और चर्चा मंच के रूप में कार्य करता है। वर्कग्रुप योगदानकर्ताओं के एक वितरित समूह के माध्यम से ओपन सोर्स रिलीज़ समन्वय और सॉफ़्टवेयर संस्करण योजना की सुविधा प्रदान करता है। यह औपचारिक रिलीज़ से पहले लाइब्रेरी के कोड और दस्तावेज़ीकरण को परिष्कृत करने के लिए सामुदायिक तकनीकी प्रतिक्रिया एकत्र करने और सार्वजनिक चर्चाओं के प्रबंधन पर केंद्रित है। विकास का दायरा समवर्ती यूजर इंटरफेस रेंडरिंग, फ्रंटएंड स्टेट प्रबंधन, और आंतरिक सुलह (reconciliation) और रेंडरिंग लॉजिक के शोधन को कवर करता है।
Groups multiple state updates into a single render pass to improve performance and reduce repaints.
- llm-d/llm-d
llm-d/llm-d
2,514GitHub पर देखेंllm-d is a distributed serving framework designed for large language model inference. It functions as an inference orchestrator and gateway, providing a control plane for deploying model replicas and managing hardware accelerators. The system includes a batch inference scheduler and a cache manager to coordinate request flow and memory utilization. The project is distinguished by a disaggregated serving architecture that separates prefill and decode execution phases across specialized workers to maximize throughput. It employs a hardware-agnostic control plane and tiered cache offloading, mov
Provides a disaggregated prefill and decode topology specifically designed to maximize throughput for batch-intensive LLM workloads.
Shell
