Awesome GitHub RepositoriesReal-Time Text Streaming

Hermes-webui is a self-hosted AI orchestrator and web interface for managing autonomous agents. It serves as a multi-provider gateway that connects cloud and local large language models, providing a central hub to execute scheduled background jobs, run shell commands, and manage agent memory on private hardware. The system distinguishes itself through a persistent memory manager that utilizes knowledge graphs and markdown files for long-term context across sessions. It features a model context protocol host for extending agent capabilities with standardized tools and supports the orchestratio

Instructor is a library designed to parse, validate, and map unstructured language model responses into strongly typed, schema-compliant data objects. It provides a framework for structured data extraction that uses data modeling classes to enforce strict type constraints on model outputs, ensuring that generated content consistently matches expected structures. The library distinguishes itself through an automated error recovery system that manages the lifecycle of failed extraction attempts. When a model output fails to meet defined schema requirements, the framework automatically triggers

cc-connect is an AI agent messaging bridge and session manager that connects local AI coding agents to third-party messaging platforms. It acts as a multimodal AI chat relay and a OneBot protocol gateway, allowing users to control local AI agents remotely via a variety of chat interfaces. The project distinguishes itself by providing a remote AI agent controller that enables the management of agents through slash commands and a web management dashboard. It supports multi-tenant project orchestration and session-based context isolation, ensuring that independent conversation threads are mainta

This project is an autonomous AI agent framework and workflow orchestrator designed to automate machine learning engineering. It functions as a reasoning engine that reads research papers and writes code to train and deploy machine learning models through iterative reasoning loops and tool execution. The system distinguishes itself by integrating a GPU-accelerated sandboxed execution environment, allowing it to run and verify machine learning scripts in isolated remote containers. It utilizes a model provider integration gateway to route inference requests across various hosted or local endpo

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

This project is a long context inference engine and optimizer designed to process infinite text streams using large language models without memory growth or performance degradation. It serves as a system for maintaining constant memory usage during the generation of text from arbitrarily long input sequences. The implementation utilizes a rolling key-value cache manager and attention sink mechanisms to stabilize the attention process during continuous stream processing. By retaining initial tokens and employing a sliding window of key-value pairs, the system enables constant-time inference an

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

t is a command-line Twitter client that wraps Twitter's REST and streaming APIs, enabling users to post tweets, manage accounts, and search Twitter directly from the terminal. It supports authenticating and switching between multiple Twitter profiles stored in a local configuration file, allowing commands to be executed under the active account. The tool distinguishes itself through shell-integrated workflows, including tab completion for Zsh and Bash, and Unix-pipe-compatible output formatting that defaults to tab-separated columns for piping into standard utilities like grep and awk. It als

This project is a legal AI system that provides a language model assistant grounded in a retrieval-augmented generation knowledge base. It enables users to perform vector-based legal searches and receive grounded answers to legal questions. The system specifically supports Chinese legal knowledge retrieval by converting markdown documents into vector embeddings for semantic search. It utilizes a streaming web interface that delivers incremental AI responses via server-sent events. The broader capability surface includes chunk-based document processing, vector-based knowledge indexing, and si

Claude Agent SDK is a Python library from Anthropic for building AI agents that use Claude’s tool‑calling, streaming, and session‑management capabilities. It provides a structured framework for intercepting and logging every tool call an agent makes, managing conversation sessions across multiple turns, and controlling which tools the agent is allowed to invoke through configurable permission rules. The SDK distinguishes itself with middleware‑driven tool interception that lets developers block, modify, or require approval for tool calls before or after execution. A permission policy engine e

pyalgotrade is a Python algorithmic trading library designed for developing, backtesting, and executing automated trading strategies. It provides a comprehensive framework for financial strategy backtesting, a technical analysis library for computing mathematical indicators, and connectors for cryptocurrency exchange integration. The project distinguishes itself by supporting sentiment-based trading through the integration of real-time social media feeds and keyword streams. It features a quantitative trading visualization tool for plotting price action and portfolio equity curves, along with

This project is a Ruby wrapper for the Twitter API, providing a programmatic interface to interact with the platform's REST and streaming endpoints. It serves as an API client for managing social content, users, and account activity. The library includes specialized tools for real-time data streaming, allowing the acquisition of live public posts, account events, and user activity. It differentiates itself with advanced media handling, such as chunked uploading for large files, and integrated traffic management to monitor rate limits and detect streaming stalls. Broadly, the project covers c

exllamav2 هي مكتبة استنتاج عالية الأداء مصممة لتشغيل نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) المخصصة للمستهلكين. توفر مشغلاً مسرعاً بواسطة GPU وأدوات تكميم لتمكين تنفيذ النموذج دون الاعتماد على خدمات الحوسبة السحابية. يتميز المشروع بأداة تكميم تضغط النماذج إلى معدلات بت مختلطة بين اثنين وثمانية بت لتقليل متطلبات ذاكرة الفيديو (VRAM). يتميز بمولد نصوص مجمع يتعامل مع الطلبات المجمعة ويزيل تكرار بيانات ذاكرة التخزين المؤقت لزيادة الإنتاجية. تغطي المكتبة سطح قدرة واسعاً بما في ذلك تدفق الرموز غير المتزامن للمخرجات في الوقت الفعلي، وتنفيذ نواة GPU مخصصة لعمليات الجبر الخطي، وتعيين الذاكرة المحلية للوصول منخفض زمن الوصول إلى أوزان النموذج.

exllamav2 هو محرك استنتاج وإطار عمل عالي الأداء لتنفيذ نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) من فئة المستهلك. يوفر نظاماً كاملاً لنشر النماذج محلياً، بما في ذلك محرك استنتاج متخصص وأدوات لتكميم النموذج. يتميز المشروع بإطار عمل استنتاج متعدد وحدات معالجة الرسومات يوزع أعباء العمل عبر بطاقات رسومات متعددة لتشغيل النماذج التي تتجاوز سعة ذاكرة جهاز واحد. يتضمن مكمم نموذج GPU قادراً على تحويل النماذج إلى تنسيقات مختلطة الدقة بين 2 و8 بت لموازنة استخدام الذاكرة والدقة. يدعم المحرك توليد نصوص عالي الإنتاجية من خلال الاستنتاج المتوازي القائم على الدفعات وتدفق المخرجات غير المتزامن. يتم دعم هذه القدرات بواسطة نواة CUDA مخصصة وإزالة تكرار ذاكرة التخزين المؤقت لتحسين استخدام الأجهزة وتقليل زمن الوصول أثناء توليد الرموز.

Twit is a Node.js library and API client for interacting with Twitter. It provides a programmatic interface for accessing both REST and Streaming API endpoints to integrate social media data into JavaScript applications. The library enables real-time monitoring of Twitter events through a persistent streaming connection and an event-driven architecture. It also supports account automation, allowing for the management of user profiles and the programmatic execution of account actions. The toolkit covers media management via chunked file uploads, identity management through token-based authent

هذا المشروع عبارة عن مورد تعليمي شامل ومجموعة من العروض التوضيحية التي تركز على تكامل النماذج اللغوية الكبيرة، والنشر، والضبط الدقيق. يوفر محتوى تعليمياً وأدلة عملية للعمل مع نماذج الذكاء الاصطناعي. يتضمن المورد دروساً ودورات محددة حول تكييف النماذج المدربة مسبقاً مع مجموعات بيانات متخصصة باستخدام تقنيات الضبط الدقيق الفعالة للمعلمات. كما يوفر محتوى إرشادياً لتشغيل النماذج المكممة على أجهزة المستهلك وبناء خطوط أنابيب توليد معززة بالاسترجاع (RAG) باستخدام قواعد بيانات المتجهات وفهرسة المستندات. يغطي المشروع مجموعة واسعة من تطوير تطبيقات الذكاء الاصطناعي، بما في ذلك تكامل واجهات برمجة تطبيقات النماذج اللغوية الكبيرة للمحادثات المتدفقة، وإنشاء واجهات مستخدم قائمة على الويب، وتنفيذ خطوط أنابيب RAG. يتم دعم التنفيذ من خلال دفاتر ملاحظات قائمة على السحابة مهيأة مسبقاً على Kaggle و Colab لتوفير وصول GPU دون الحاجة إلى تثبيتات أجهزة محلية.

PRAW هو مكتبة Python للتعامل مع واجهة برمجة تطبيقات Reddit، ويعمل كعميل REST API وزاحف لبيانات وسائل التواصل الاجتماعي. يوفر واجهة برمجية لجلب البيانات، وإدارة محتوى الحساب، والتفاعل مع المنصة. تنفذ المكتبة عميل OAuth 2.0 شاملاً يدعم تدفقات تفويض متعددة، بما في ذلك كلمات المرور، والتدفقات الضمنية، ورموز التحديث، بالإضافة إلى وصول الضيف للقراءة فقط. يتميز بجدولة طلبات تراعي حدود المعدل (rate-limit-aware) التي تتبع تقييد الخادم لمنع استنفاد حصة API، ويستخدم كائنات تحميل كسول (lazy-loading) لجلب البيانات فقط عند الوصول إلى سمات محددة. تغطي القدرات إدارة المجتمع والمستخدمين، وبث المشاركات في الوقت الفعلي عبر المولدات، واستخراج سلاسل النقاش المتداخلة. تتضمن مجموعة الأدوات أيضاً إدارة المحتوى لإنشاء المنشورات والتعليقات، إلى جانب خيارات تكوين الشبكة للجلسات المخصصة وتوجيه الوكيل (proxy routing).

LitServe هو إطار عمل لخادم استدلال الذكاء الاصطناعي بلغة Python وإطار عمل لخدمة النماذج اللغوية الكبيرة (LLM) مصمم للاستدلال عالي التزامن. يعمل كخادم نماذج ذكاء اصطناعي موزع ومحرك استدلال مجمع ديناميكياً، مما يوفر الأدوات لبناء واستضافة خوادم مخصصة تشغل نماذج الذكاء الاصطناعي. يتميز إطار العمل بطابور طلبات مجمع ديناميكياً يجمع طلبات الاستدلال الفردية في موترات (tensors) واحدة لزيادة إنتاجية GPU. يدعم توسيع نطاق GPU الموزع، مما يسمح بتوزيع أعباء عمل النماذج عبر مسرعات أجهزة متعددة لموازنة أحمال الحوسبة وزيادة السعة الإجمالية. يوفر النظام واجهة غلاف عالية المستوى تفصل المعالجة المسبقة للطلب والمعالجة اللاحقة عن منطق تنفيذ النموذج الأساسي. كما يتضمن إمكانات لبث النماذج في الوقت الفعلي لتقديم المخرجات بشكل تزايدي ويستخدم حلقة أحداث غير متزامنة للتعامل مع طلبات الشبكة المتزامنة.

Atmosphere is a Java-based framework for building and coordinating AI agents. It provides a real-time transport layer for streaming data via WebSockets, SSE, gRPC, and WebTransport, alongside a multi-agent orchestration framework for managing agent fleets through sequential, parallel, and graph-based execution workflows. The project features a durable workflow engine that persists agent state as snapshots, allowing long-running tasks to survive system restarts and incorporate human-in-the-loop approvals. It also implements Model Context Protocol servers to expose tools, resources, and prompt