Awesome GitHub RepositoriesBatch Request Processing

Llama-stack एक मानकीकृत ऑर्केस्ट्रेशन स्टैक और जेनरेटिव AI API गेटवे है। यह विभिन्न लार्ज लैंग्वेज मॉडल प्रोवाइडर्स और डिप्लॉयमेंट्स को डिप्लॉय करने, प्रबंधित करने और उनके साथ इंटरैक्ट करने के लिए एक एकीकृत संचार परत और एक सुसंगत इंटरफ़ेस प्रदान करता है। यह सिस्टम एक एजेंट फ्रेमवर्क के रूप में कार्य करता है जो जटिल कार्यों को स्वचालित करने के लिए टूल निष्पादन और वर्ज़न्ड स्किल बंडल्स को प्रबंधित करता है। इसमें ऑफ़लाइन प्रोसेसिंग के माध्यम से बड़ी मात्रा में एसिंक्रोनस अनुरोधों को संभालने के लिए एक बैच प्रोसेसिंग सिस्टम और रिट्रीवल ऑगमेंटेड जनरेशन (RAG) को सक्षम करने के लिए डॉक्यूमेंट्स को स्टोर और सर्च करने हेतु एक वेक्टर डेटाबेस इंटरफ़ेस शामिल है। यह स्टैक AI एजेंट ऑर्केस्ट्रेशन, मॉडल डिप्लॉयमेंट और मॉडल API के मानकीकरण जैसी उच्च-स्तरीय क्षमताओं को कवर करता है, ताकि एप्लिकेशन कोड को फिर से लिखे बिना प्रोवाइडर्स के बीच स्विच किया जा सके।

Cloud Custodian एक मल्टी-क्लाउड गवर्नेंस इंजन और नीति प्रवर्तन टूल है जिसे विभिन्न क्लाउड प्रदाताओं में सुरक्षा, अनुपालन और लागत अनुकूलन को स्वचालित करने के लिए डिज़ाइन किया गया है। यह एक नियम इंजन के रूप में कार्य करता है जो क्लाउड संसाधनों को क्वेरी करने और पूर्व-निर्धारित फ़िल्टर के आधार पर सुधारात्मक क्रियाएं निष्पादित करने के लिए एक घोषणात्मक डोमेन विशिष्ट भाषा का उपयोग करता है। यह सिस्टम एक सर्वरलेस नीति ऑर्केस्ट्रेटर के रूप में कार्य करता है, जो क्लाउड संसाधन परिवर्तनों के जवाब में रियल-टाइम प्रवर्तन को ट्रिगर करने के लिए प्रदाता-विशिष्ट फंक्शन्स को तैनात करता है। यह कई खातों, सब्सक्रिप्शन और प्रोजेक्ट्स में सुसंगत परिचालन नीतियां बनाए रखने के लिए एक प्रदाता-अज्ञेयवादी संसाधन एब्स्ट्रैक्शन प्रदान करता है।

यह प्रोजेक्ट PHP एप्लिकेशन में OpenAI सेवाओं को इंटीग्रेट करने के लिए एक PHP API क्लाइंट और SDK है। यह REST API कॉल्स के माध्यम से टेक्स्ट, चित्र और ऑडियो उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स के साथ इंटरैक्ट करने के लिए एक एकीकरण लाइब्रेरी और रैपर के रूप में कार्य करता है। यह लाइब्रेरी AI सहायकों के लिए विशेष ऑर्केस्ट्रेशन प्रदान करती है, जो वार्तालाप थ्रेड्स और वेक्टर स्टोर्स को मैनेज करती है। इसमें कस्टम मॉडल फ़ाइन-ट्यूनिंग, टेक्स्ट एम्बेडिंग के माध्यम से सिमेंटिक सर्च कार्यान्वयन और ट्रांसक्रिप्शन व सिंथेसिस के लिए ऑडियो प्रोसेसिंग के लिए टूल भी शामिल हैं। क्षमता सतह कंटेंट मॉडरेशन, फ़ाइल मैनेजमेंट और चैट व टेक्स्ट कंप्लीशन को संभालने को कवर करती है। यह सर्वर-सेंट इवेंट्स स्ट्रीमिंग, एसिंक्रोनस बैच प्रोसेसिंग और वेबहुक सिग्नेचर के सत्यापन के माध्यम से रीयल-टाइम डेटा डिलीवरी का समर्थन करती है।

udemy-dl एक Python कमांड-लाइन टूल और वेब कंटेंट स्क्रैपर है जिसे ऑफ़लाइन व्यक्तिगत उपयोग के लिए Udemy कोर्स वीडियो, सबटाइटल्स और पूरक सामग्री डाउनलोड करने के लिए डिज़ाइन किया गया है। यह एक कोर्स मीडिया आर्काइवर के रूप में कार्य करता है जो प्रतिबंधित मीडिया और मेटाडेटा प्राप्त करने के लिए उपयोगकर्ता क्रेडेंशियल्स या कुकीज़ के माध्यम से प्रमाणित होता है। यूटिलिटी बैच मीडिया रिट्रीवल के माध्यम से खुद को अलग करती है, जो URLs की सूची से कई कोर्सेस के अनुक्रमिक डाउनलोड की अनुमति देती है। यह आर्काइव प्रक्रिया पर दानेदार नियंत्रण प्रदान करती है, जिसमें विशिष्ट अध्यायों या लेक्चर्स को फ़िल्टर करने और एक फ़ाइल में सीधे डाउनलोड लिंक निर्यात करने की क्षमता शामिल है। टूल व्यापक मीडिया प्रबंधन को कवर करता है, जिसमें वीडियो गुणवत्ता चयन, भाषा-विशिष्ट सबटाइटल रिट्रीवल और प्रारूप रूपांतरण, और उपलब्ध रिज़ॉल्यूशन निर्धारित करने के लिए कोर्स मेटाडेटा का निष्कर्षण शामिल है।

WePush एक मल्टी-चैनल नोटिफिकेशन गेटवे और बल्क मैसेज डिस्पैचर है जिसे SMS प्रदाताओं, ईमेल, सोशल प्लेटफॉर्म और कॉर्पोरेट संचार चैनलों पर व्यक्तिगत नोटिफिकेशन भेजने के लिए डिज़ाइन किया गया है। यह एक एंटरप्राइज़ मैसेजिंग हब के रूप में कार्य करता है जो एक एकीकृत इंटरफ़ेस के माध्यम से नोटिफिकेशन को रूट करता है, जिसमें कई क्लाउड SMS प्रदाताओं के लिए एक केंद्रीकृत मैनेजर शामिल है। इस सिस्टम में भविष्य की विशिष्ट तारीखों और समय पर डिलीवरी ट्रिगर करने के लिए एक नोटिफिकेशन शेड्यूलिंग इंजन शामिल है। यह मल्टी-अकाउंट मैनेजमेंट का सपोर्ट करता है, जिससे उपयोगकर्ता विभिन्न अकाउंट्स से नोटिफिकेशन भेजने के लिए अलग-अलग सेवा प्रदाता पहचान के बीच स्विच कर सकते हैं। यह प्लेटफ़ॉर्म टेम्पलेटिंग सिस्टम के माध्यम से मैसेज कंटेंट पर्सनलाइज़ेशन की क्षमताएं प्रदान करता है और प्राप्तकर्ता सूची आयात के माध्यम से बड़े पैमाने पर आउटरीच को मैनेज करता है। इसमें भेजे गए नोटिफिकेशन की स्थिति की निगरानी करने और विफल संदेशों के लिए रीसेंडिंग मैनेज करने के लिए डिलीवरी हिस्ट्री ट्रैकिंग भी शामिल है।

Promptify मॉडल मूल्यांकन, प्रॉम्प्ट प्रबंधन, टोकन लागत ट्रैकिंग, संरचित निष्कर्षण, और एकीकृत API गेटवे एक्सेस के लिए डिज़ाइन किए गए टूल्स का एक सूट है। यह कई लार्ज लैंग्वेज मॉडल प्रदाताओं के बीच अनुरोधों और प्रतिक्रियाओं को प्रबंधित करने के लिए एक मानकीकृत इंटरफेस प्रदान करता है। इस प्रोजेक्ट में संरचित आउटपुट वैलिडेशन के साथ प्रॉम्प्ट्स को इंजीनियरिंग और वर्ज़निंग करने के लिए एक प्रॉम्प्ट प्रबंधन प्लेटफॉर्म है। इसमें लेबल किए गए डेटासेट के खिलाफ प्रिसिजन, रिकॉल, और f1 स्कोर का उपयोग करके मॉडल प्रदर्शन को मापने के लिए एक समर्पित मूल्यांकन फ्रेमवर्क, और मॉडल अनुरोधों के वित्तीय खर्चों की निगरानी के लिए एक टोकन लागत ट्रैकर शामिल है। यह लाइब्रेरी नेचुरल लैंग्वेज प्रोसेसिंग के लिए व्यापक क्षमताओं को कवर करती है, जिसमें नेम्ड एंटिटी एक्सट्रैक्शन, टेक्स्ट क्लासिफिकेशन, और प्रश्न-उत्तर शामिल हैं। यह एसिंक्रोनस बैच प्रोसेसिंग के माध्यम से हाई-वॉल्यूम वर्कफ़्लो का समर्थन करती है और स्कीमा वैलिडेशन के माध्यम से असंरचित टेक्स्ट को टाइप्ड डेटा स्ट्रक्चर्स में बदलकर डेटा स्थिरता सुनिश्चित करती है।

tiny-llm is a large language model inference engine and transformer model implementation. It serves as a quantized model runtime and paged key-value cache manager, providing a specialized inference stack optimized for Apple Silicon. The system distinguishes itself through high-throughput execution techniques, including continuous batching and paged attention. It utilizes a paged memory system to eliminate fragmentation during token generation and employs on-the-fly dequantization of compressed weights to reduce the memory footprint during matrix multiplication. The project covers a broad ran

LMQL एक प्रोग्रामिंग भाषा और संभाव्य इंटरफेस है जो स्टोकेस्टिक टेक्स्ट निर्माण के साथ एल्गोरिथम लॉजिक को मिश्रित करती है। यह एक बाधा-निर्देशित प्रॉम्प्टिंग फ्रेमवर्क और संरचित आउटपुट जनरेटर के रूप में कार्य करता है, जो उपयोगकर्ताओं को मॉडल रिस्पॉन्स को सख्त स्वरूपण और डेटा प्रकारों का पालन करने के लिए मजबूर करने की अनुमति देता है। यह सिस्टम एक इन्फरेंस ऑप्टिमाइज़र के रूप में खुद को अलग करता है जो टोकन थ्रूपुट को बढ़ाता है और विलंबता को कम करता है। यह ट्री-आधारित प्रॉम्प्ट कैशिंग और एसिंक्रोनस बैच प्रोसेसिंग सहित विशेष निष्पादन रणनीतियों के माध्यम से प्राप्त किया जाता है। यह प्रोजेक्ट लॉगिट-आधारित टोकन मास्किंग, बीम-सर्च चयन, और इंटरलीव्ड लॉजिक-प्रॉम्प्ट निष्पादन जैसी पीढ़ी नियंत्रण क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह WebSockets और सर्वर-सेंट इवेंट्स के माध्यम से रीयल-टाइम रिस्पॉन्स स्ट्रीमिंग के लिए इंफ्रास्ट्रक्चर भी प्रदान करता है।

The stripe-php library is a PHP client used to integrate Stripe payment processing, subscription billing, and financial services into applications. It provides a programmatic interface for managing connected accounts, issuing virtual cards, and automating payouts to sellers. The library distinguishes itself through a comprehensive suite of billing and payment tools, including support for recurring charges, usage-based billing, and the management of customer self-service portals. It further enables financial automation via tax and revenue libraries that handle global sales tax calculation and

Snoop एक ओपन-सोर्स इंटेलिजेंस टूल है जिसे विशिष्ट यूजरनेम और निकनेम से जुड़े प्रोफाइल्स खोजने के लिए हजारों पब्लिक वेबसाइट्स को स्कैन करने के लिए डिज़ाइन किया गया है। यह डिजिटल फुटप्रिंट एनालाइज़र और यूजरनेम इंटेलिजेंस फ्रेमवर्क के रूप में काम करता है, जो टारगेट एंटिटीज के व्यापक प्रोफाइल्स बनाने के लिए कई प्लेटफॉर्म्स से आइडेंटिटी डेटा एग्रीगेट करता है। यह टूल जियोस्पेशियल इंटेलिजेंस क्षमताओं के माध्यम से खुद को अलग बनाता है, जिसमें IP एड्रेस और डोमेन को भौगोलिक कोऑर्डिनेट्स में रिज़ॉल्व करने और रॉ टेक्स्ट से जियो-कोऑर्डिनेट्स पार्स करने की क्षमता शामिल है। इन निष्कर्षों को इंटरैक्टिव HTML मैप्स पर मार्कर्स के रूप में विज़ुअलाइज़ किया जा सकता है, और सिस्टम कोऑर्डिनेट्स को मानव-पठनीय स्थान नामों में बदलने के लिए रिवर्स जियोकोडिंग कर सकता है। यूजरनेम सर्च से परे, यह प्रोजेक्ट नेटवर्क एसेट टोही (reconnaissance), यूजर लिस्ट्स की बैच प्रोसेसिंग और पूरे डेटाबेस के बजाय विशिष्ट वेबसाइट्स को टारगेट करने की क्षमता को कवर करता है। इसमें एक एविडेंस आर्काइविंग सिस्टम शामिल है जो खोजी गई प्रोफाइल पेजों के HTML स्नैपशॉट्स कैप्चर करता है और एकत्रित इंटेलिजेंस को CSV, TXT और HTML रिपोर्ट फॉर्मेट्स में एक्सपोर्ट करता है।

This project is a Python command-line security tool and malware analysis framework designed for threat intelligence aggregation and incident triage. It functions as an aggregator that orchestrates queries across multiple security services and sandboxes to analyze hashes, IP addresses, and domains. The tool distinguishes itself by incorporating an intelligence layer that uses language models to provide automated risk assessments and framework mappings. It also includes specialized capabilities for extracting indicators of compromise from unstructured text, documents, and web pages, as well as

OpenTelemetry PHP is a standard-compliant observability framework designed to instrument applications for the collection and export of telemetry data. It provides a comprehensive suite of tools for capturing traces, metrics, and logs, enabling developers to monitor operational behavior and system performance in real time. The project distinguishes itself through an interface-driven plugin architecture that allows for the modular configuration of exporters, processors, and samplers. To maintain performance in production environments, it supports the use of native binary extensions for data ser