Awesome GitHub RepositoriesToken Throughput Measurement

Promptflow is a development framework and orchestrator for building applications powered by large language models. It functions as a suite of tools for designing, orchestrating, and deploying AI workflows by linking prompts, custom Python code, and language models into executable sequences. The project is distinguished by a visual AI workflow designer that allows for the creation of directed acyclic graphs of logic nodes. It provides a dedicated prompt engineering environment for versioning and comparing templates, alongside stateful execution tracing to record function calls and variable val

pysheeet एक तकनीकी संदर्भ लाइब्रेरी है जो उन्नत Python डेवलपमेंट, सिस्टम एकीकरण और उच्च-प्रदर्शन कंप्यूटिंग के लिए कोड स्निपेट्स और कार्यान्वयन पैटर्न का एक क्यूरेटेड संग्रह प्रदान करती है। यह निम्न-स्तरीय नेटवर्क प्रोग्रामिंग, नेटिव C एक्सटेंशन, और एसिंक्रोनस और समवर्ती प्रोग्रामिंग को लागू करने के लिए एक व्यापक गाइड के रूप में कार्य करती है। यह प्रोजेक्ट वितरित GPU इन्फरेंस और उच्च-प्रदर्शन सर्विंग के लिए टूल्स सहित लार्ज लैंग्वेज मॉडल्स के विकास और डिप्लॉयमेंट के लिए विशेष फ्रेमवर्क प्रदान करती है। इसमें GPU रिसोर्स एलोकेशन और मल्टी-नोड वर्कलोड मैनेजमेंट को कवर करते हुए उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर ऑर्केस्ट्रेशन के लिए विस्तृत पैटर्न भी शामिल हैं। यह लाइब्रेरी सुरक्षित नेटवर्क संचार और क्रिप्टोग्राफी, ऑब्जेक्ट-रिलेशनल मैपिंग और डेटाबेस मैनेजमेंट, और जटिल डेटा स्ट्रक्चर्स और एल्गोरिदम के कार्यान्वयन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है। यह मेमोरी मैनेजमेंट, फॉरेन-फंक्शन इंटरफ़ेस के माध्यम से नेटिव इंटरऑपरेबिलिटी, और सिस्टम-स्तरीय OS एकीकरण के लिए यूटिलिटीज़ भी प्रदान करती है।

LightLLM is a high-performance serving framework for deploying and executing large language models. It functions as a multi-GPU inference engine and server capable of handling dense architectures, mixture-of-experts designs, and multimodal models that process both text and images. The system is distinguished by its specialized support for Mixture-of-Experts models using expert parallelism and fused kernels. It implements structured text generation through deterministic state machines and pushdown automata to enforce precise output formats. To optimize throughput, the framework employs specula

lmms-eval is a benchmarking system and performance analysis suite designed to measure the capabilities of large multimodal models. It provides a framework for evaluating models across text, image, audio, and video datasets, serving as a multimodal dataset orchestrator and benchmarking tool to quantify accuracy and efficiency. The project distinguishes itself through a unified multimodal message protocol that structures diverse media inputs for consistent model consumption. It features specialized benchmarking for audio, video, visual, document, and spatial reasoning, alongside tools for model