Awesome GitHub RepositoriesReal-Time Text Streaming

Hermes-webui is a self-hosted AI orchestrator and web interface for managing autonomous agents. It serves as a multi-provider gateway that connects cloud and local large language models, providing a central hub to execute scheduled background jobs, run shell commands, and manage agent memory on private hardware. The system distinguishes itself through a persistent memory manager that utilizes knowledge graphs and markdown files for long-term context across sessions. It features a model context protocol host for extending agent capabilities with standardized tools and supports the orchestratio

Instructor is a library designed to parse, validate, and map unstructured language model responses into strongly typed, schema-compliant data objects. It provides a framework for structured data extraction that uses data modeling classes to enforce strict type constraints on model outputs, ensuring that generated content consistently matches expected structures. The library distinguishes itself through an automated error recovery system that manages the lifecycle of failed extraction attempts. When a model output fails to meet defined schema requirements, the framework automatically triggers

cc-connect is an AI agent messaging bridge and session manager that connects local AI coding agents to third-party messaging platforms. It acts as a multimodal AI chat relay and a OneBot protocol gateway, allowing users to control local AI agents remotely via a variety of chat interfaces. The project distinguishes itself by providing a remote AI agent controller that enables the management of agents through slash commands and a web management dashboard. It supports multi-tenant project orchestration and session-based context isolation, ensuring that independent conversation threads are mainta

This project is an autonomous AI agent framework and workflow orchestrator designed to automate machine learning engineering. It functions as a reasoning engine that reads research papers and writes code to train and deploy machine learning models through iterative reasoning loops and tool execution. The system distinguishes itself by integrating a GPU-accelerated sandboxed execution environment, allowing it to run and verify machine learning scripts in isolated remote containers. It utilizes a model provider integration gateway to route inference requests across various hosted or local endpo

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

This project is a long context inference engine and optimizer designed to process infinite text streams using large language models without memory growth or performance degradation. It serves as a system for maintaining constant memory usage during the generation of text from arbitrarily long input sequences. The implementation utilizes a rolling key-value cache manager and attention sink mechanisms to stabilize the attention process during continuous stream processing. By retaining initial tokens and employing a sliding window of key-value pairs, the system enables constant-time inference an

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

t is a command-line Twitter client that wraps Twitter's REST and streaming APIs, enabling users to post tweets, manage accounts, and search Twitter directly from the terminal. It supports authenticating and switching between multiple Twitter profiles stored in a local configuration file, allowing commands to be executed under the active account. The tool distinguishes itself through shell-integrated workflows, including tab completion for Zsh and Bash, and Unix-pipe-compatible output formatting that defaults to tab-separated columns for piping into standard utilities like grep and awk. It als

यह प्रोजेक्ट एक कानूनी AI सिस्टम है जो रिट्रीवल-ऑगमेंटेड जनरेशन नॉलेज बेस पर आधारित एक भाषा मॉडल सहायक प्रदान करता है। यह यूज़र्स को वेक्टर-आधारित कानूनी खोज करने और कानूनी सवालों के सटीक उत्तर प्राप्त करने में सक्षम बनाता है। यह सिस्टम विशेष रूप से चीनी कानूनी ज्ञान पुनर्प्राप्ति का समर्थन करता है, जो मार्कडाउन दस्तावेजों को सिमेंटिक खोज के लिए वेक्टर एम्बेडिंग में परिवर्तित करता है। यह एक स्ट्रीमिंग वेब इंटरफेस का उपयोग करता है जो सर्वर-सेंट इवेंट्स के माध्यम से वृद्धिशील AI प्रतिक्रियाएं प्रदान करता है। व्यापक क्षमता में चंक-आधारित दस्तावेज़ प्रसंस्करण, वेक्टर-आधारित ज्ञान अनुक्रमण और प्रासंगिक कानूनी उद्धरणों और कानूनों को पुनः प्राप्त करने के लिए समानता खोज शामिल है।

Claude Agent SDK is a Python library from Anthropic for building AI agents that use Claude’s tool‑calling, streaming, and session‑management capabilities. It provides a structured framework for intercepting and logging every tool call an agent makes, managing conversation sessions across multiple turns, and controlling which tools the agent is allowed to invoke through configurable permission rules. The SDK distinguishes itself with middleware‑driven tool interception that lets developers block, modify, or require approval for tool calls before or after execution. A permission policy engine e

pyalgotrade is a Python algorithmic trading library designed for developing, backtesting, and executing automated trading strategies. It provides a comprehensive framework for financial strategy backtesting, a technical analysis library for computing mathematical indicators, and connectors for cryptocurrency exchange integration. The project distinguishes itself by supporting sentiment-based trading through the integration of real-time social media feeds and keyword streams. It features a quantitative trading visualization tool for plotting price action and portfolio equity curves, along with

This project is a Ruby wrapper for the Twitter API, providing a programmatic interface to interact with the platform's REST and streaming endpoints. It serves as an API client for managing social content, users, and account activity. The library includes specialized tools for real-time data streaming, allowing the acquisition of live public posts, account events, and user activity. It differentiates itself with advanced media handling, such as chunked uploading for large files, and integrated traffic management to monitor rate limits and detect streaming stalls. Broadly, the project covers c

exllamav2 is a high-performance inference library designed for running large language models locally on consumer-grade GPUs. It provides a GPU-accelerated runner and quantization tools to enable model execution without reliance on cloud-based computing services. The project features a quantization utility that compresses models into mixed bitrates between two and eight bits to reduce video RAM requirements. It distinguishes itself through a batched text generator that handles grouped requests and deduplicates cache data to increase throughput. The library covers a broad capability surface in

exllamav2 is a high-performance inference engine and framework for executing large language models locally on consumer-class GPUs. It provides a complete system for local model deployment, including a specialized inference engine and tools for model quantization. The project features a multi-GPU inference framework that distributes workloads across multiple graphics cards to run models that exceed the memory capacity of a single device. It includes a GPU model quantizer capable of converting models into mixed-precision formats between 2 and 8 bits to balance memory usage and accuracy. The en

Twit, Twitter के साथ इंटरैक्ट करने के लिए एक Node.js लाइब्रेरी और API क्लाइंट है। यह JavaScript एप्लिकेशन में सोशल मीडिया डेटा को एकीकृत करने के लिए REST और स्ट्रीमिंग API एंडपॉइंट्स तक पहुँचने के लिए एक प्रोग्रामेटिक इंटरफ़ेस प्रदान करती है। यह लाइब्रेरी एक पर्सिस्टेंट स्ट्रीमिंग कनेक्शन और इवेंट-ड्रिवन आर्किटेक्चर के माध्यम से Twitter इवेंट्स की रीयल-टाइम निगरानी को सक्षम बनाती है। यह अकाउंट ऑटोमेशन का भी समर्थन करती है, जिससे यूज़र प्रोफाइल को मैनेज करने और अकाउंट एक्शन्स को प्रोग्रामेटिक रूप से निष्पादित करने की अनुमति मिलती है। यह टूलकिट चंक्ड फ़ाइल अपलोड के माध्यम से मीडिया मैनेजमेंट, टोकन-आधारित ऑथेंटिकेशन और रिफ्रेश मैकेनिज्म के माध्यम से आइडेंटिटी मैनेजमेंट, और SSL सर्टिफिकेट फिंगरप्रिंट वेरिफिकेशन के माध्यम से नेटवर्क सुरक्षा को कवर करती है।

This project is a comprehensive learning resource and set of demonstrations focused on large language model integration, deployment, and fine-tuning. It provides educational content and practical guides for working with artificial intelligence models. The resource includes specific tutorials and courses on adapting pre-trained models to specialized datasets using parameter-efficient fine-tuning techniques. It also provides instructional content for running quantized models on consumer hardware and building retrieval augmented generation pipelines using vector databases and document indexing.

PRAW Reddit API के लिए एक Python रैपर है, जो एक REST API क्लाइंट और सोशल मीडिया डेटा क्रॉलर के रूप में कार्य करता है। यह डेटा लाने, अकाउंट कंटेंट को मैनेज करने और प्लेटफॉर्म के साथ इंटरैक्ट करने के लिए एक प्रोग्रामेटिक इंटरफ़ेस प्रदान करता है। यह लाइब्रेरी एक व्यापक OAuth 2.0 क्लाइंट लागू करती है जो पासवर्ड, इम्प्लिसिट और रिफ्रेश टोकन के साथ-साथ रीड-ओनली गेस्ट एक्सेस सहित कई ऑथराइजेशन फ्लो का समर्थन करती है। यह एक रेट-लिमिट-अवेयर रिक्वेस्ट शेड्यूलर के माध्यम से खुद को अलग करती है जो API कोटा समाप्त होने से रोकने के लिए सर्वर-साइड थ्रॉटलिंग को ट्रैक करता है और केवल विशिष्ट विशेषताओं तक पहुंचने पर डेटा लाने के लिए लेज़ी-लोडिंग रिसोर्स ऑब्जेक्ट्स का उपयोग करता है। क्षमताओं में कम्युनिटी और यूजर मैनेजमेंट, जनरेटर के माध्यम से रियल-टाइम सबमिशन स्ट्रीमिंग और नेस्टेड डिस्कशन थ्रेड्स का निष्कर्षण शामिल है। टूलसेट में कस्टम सेशन और प्रॉक्सी रूटिंग के लिए नेटवर्क कॉन्फ़िगरेशन विकल्पों के साथ पोस्ट और कमेंट बनाने के लिए कंटेंट मैनेजमेंट भी शामिल है।

LitServe एक Python AI अनुमान सर्वर फ्रेमवर्क और LLM सर्विंग फ्रेमवर्क है जिसे उच्च-कॉनकरेंसी अनुमान के लिए डिज़ाइन किया गया है। यह एक वितरित AI मॉडल सर्वर और डायनामिक बैचिंग अनुमान इंजन के रूप में कार्य करता है, जो AI मॉडल चलाने वाले कस्टम सर्वर बनाने और होस्ट करने के लिए टूल प्रदान करता है। यह फ्रेमवर्क एक डायनामिक-बैचिंग रिक्वेस्ट कतार के माध्यम से खुद को अलग करता है जो GPU थ्रूपुट को अधिकतम करने के लिए व्यक्तिगत अनुमान अनुरोधों को एकल टेंसर में समूहित करता है। यह वितरित GPU स्केलिंग का समर्थन करता है, जिससे मॉडल वर्कलोड को कंप्यूट लोड को संतुलित करने और कुल क्षमता बढ़ाने के लिए कई हार्डवेयर एक्सेलेरेटर्स में फैलाया जा सकता है। सिस्टम एक उच्च-स्तरीय रैपर इंटरफ़ेस प्रदान करता है जो मुख्य मॉडल निष्पादन लॉजिक से अनुरोध प्रीप्रोसेसिंग और पोस्टप्रोसेसिंग को अलग करता है। इसमें आउटपुट को क्रमिक रूप से डिलीवर करने के लिए रीयल-टाइम मॉडल स्ट्रीमिंग के लिए क्षमताएं भी शामिल हैं और समवर्ती नेटवर्क अनुरोधों को संभालने के लिए एक एसिंक्रोनस इवेंट लूप का उपयोग करता है।

Atmosphere is a Java-based framework for building and coordinating AI agents. It provides a real-time transport layer for streaming data via WebSockets, SSE, gRPC, and WebTransport, alongside a multi-agent orchestration framework for managing agent fleets through sequential, parallel, and graph-based execution workflows. The project features a durable workflow engine that persists agent state as snapshots, allowing long-running tasks to survive system restarts and incorporate human-in-the-loop approvals. It also implements Model Context Protocol servers to expose tools, resources, and prompt