4 रिपॉजिटरी
Awesome GitHub RepositoriesBatch Optimizers
Utilities for grouping text inputs into efficient chunks to maximize throughput.
Distinct from Batch Processing: Distinct from Batch Processing: focuses on the optimization of input chunking for provider constraints rather than general bulk operations.
Explore 4 awesome GitHub repositories matching data & databases · Batch Optimizers. Refine with filters or upvote what's useful.
Awesome Batch Optimizers GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- vibrantlabsai/ragas
vibrantlabsai/ragas
12,659GitHub पर देखेंRagas is an evaluation framework designed to measure the performance of retrieval-augmented generation pipelines and autonomous agent workflows. It provides a comprehensive suite of tools for benchmarking system outputs, utilizing language models as automated judges to score performance against defined rubrics and reference data. By standardizing inputs, retrieved contexts, and generated responses into a unified schema, the project enables consistent analysis across complex AI applications. The framework distinguishes itself through its ability to generate synthetic test datasets from existin
Groups multiple text inputs into efficient chunks to maximize data throughput and ensure reliable communication.
Pythonevaluationllmllmops - internlm/xtuner
InternLM/xtuner
5,150GitHub पर देखेंxtuner बड़े भाषा मॉडल के लिए एक व्यापक प्रशिक्षण इंजन है, जो प्री-ट्रेनिंग, सुपरवाइज्ड फाइन-ट्यूनिंग और विज़न-लैंग्वेज मल्टीमॉडल मॉडल के अनुकूलन के लिए एक टूलकिट प्रदान करता है। यह एक वितरित प्रशिक्षण त्वरक और Mixture-of-Experts मॉडल को स्केल करने और मानव फीडबैक से सुदृढीकरण शिक्षण के माध्यम से मॉडल व्यवहार को संरेखित करने के लिए एक विशेष फ्रेमवर्क के रूप में कार्य करता है। प्रोजेक्ट उन्नत मेमोरी और कंप्यूट अनुकूलन के माध्यम से खुद को अलग करता है, जैसे अल्ट्रा-लॉन्ग कॉन्टेक्स्ट विंडो के लिए सीक्वेंस पैरेललिज्म और GPU आइडल समय को कम करने के लिए इंटरलीव्ड पाइपलाइन पैरेललिज्म। यह प्राथमिकता अनुकूलन के लिए एक समर्पित सूट प्रदान करता है, जो मॉडल नीतियों और इनाम प्रणालियों को परिष्कृत करने के लिए Group Relative Policy Optimization और Direct Preference Optimization जैसी तकनीकों को लागू करता है। व्यापक क्षमता क्षेत्र कई नोड्स में वितरित मॉडल प्रशिक्षण, मल्टीमॉडल डेटासेट तैयारी और एडाप्टर-आधारित फाइन-ट्यूनिंग के प्रबंधन को कवर करते हैं। इंजन में मॉडल मूल्यांकन, वेट मर्जिंग और प्रशिक्षित मापदंडों को इन्फरेंस इंजन में निर्यात करने के लिए टूल भी शामिल हैं। प्रशिक्षण का प्रबंधन मानकीकृत कॉन्फ़िगरेशन फाइलों और वितरित लॉन्चरों के माध्यम से किया जाता है ताकि कंप्यूटिंग क्लस्टर में सुसंगत परिणाम सुनिश्चित किए जा सकें।
Sorts training data by length to create batches of similar-sized sequences and minimize padding overhead.
Pythonagentdeepseek-v3gpt-oss - fastai/course-v3
fastai/course-v3
4,914GitHub पर देखेंयह रिपॉजिटरी एक व्यापक शैक्षिक कार्यक्रम और डीप लर्निंग फ्रेमवर्क है, जिसे नोटबुक और कोड उदाहरणों के माध्यम से PyTorch का उपयोग करके व्यावहारिक डीप लर्निंग सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और डिप्लॉय करने के लिए एक हाई-लेवल लाइब्रेरी के रूप में कार्य करता है। यह प्रोजेक्ट कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और टैबुलर डेटा प्रीप्रोसेसिंग के लिए विशेष टूलकिट प्रदान करता है। यह डिस्क्रिमिनेटिव लर्निंग रेट्स, ट्रेनिंग लॉजिक को कस्टमाइज़ करने के लिए टू-वे कॉलबैक सिस्टम और हाई-लेवल लर्नर एब्स्ट्रैक्शन जैसे उन्नत ट्रेनिंग कंट्रोल्स के माध्यम से खुद को अलग करता है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में उपलब्ध है।
Orders dataset items based on text length to minimize padding waste and improve batching efficiency.
Jupyter Notebookdata-sciencedeep-learningfastai - opennmt/ctranslate2
OpenNMT/CTranslate2
4,319GitHub पर देखेंCTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di
CTranslate2 groups input sequences by length and processes them in fixed-size chunks to maximize hardware utilization and throughput.
C++avxavx2cpp
