Awesome GitHub RepositoriesReal-Time Text Streaming

Hermes-webui is a self-hosted AI orchestrator and web interface for managing autonomous agents. It serves as a multi-provider gateway that connects cloud and local large language models, providing a central hub to execute scheduled background jobs, run shell commands, and manage agent memory on private hardware. The system distinguishes itself through a persistent memory manager that utilizes knowledge graphs and markdown files for long-term context across sessions. It features a model context protocol host for extending agent capabilities with standardized tools and supports the orchestratio

Instructor is a library designed to parse, validate, and map unstructured language model responses into strongly typed, schema-compliant data objects. It provides a framework for structured data extraction that uses data modeling classes to enforce strict type constraints on model outputs, ensuring that generated content consistently matches expected structures. The library distinguishes itself through an automated error recovery system that manages the lifecycle of failed extraction attempts. When a model output fails to meet defined schema requirements, the framework automatically triggers

cc-connect is an AI agent messaging bridge and session manager that connects local AI coding agents to third-party messaging platforms. It acts as a multimodal AI chat relay and a OneBot protocol gateway, allowing users to control local AI agents remotely via a variety of chat interfaces. The project distinguishes itself by providing a remote AI agent controller that enables the management of agents through slash commands and a web management dashboard. It supports multi-tenant project orchestration and session-based context isolation, ensuring that independent conversation threads are mainta

This project is an autonomous AI agent framework and workflow orchestrator designed to automate machine learning engineering. It functions as a reasoning engine that reads research papers and writes code to train and deploy machine learning models through iterative reasoning loops and tool execution. The system distinguishes itself by integrating a GPU-accelerated sandboxed execution environment, allowing it to run and verify machine learning scripts in isolated remote containers. It utilizes a model provider integration gateway to route inference requests across various hosted or local endpo

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

This project is a long context inference engine and optimizer designed to process infinite text streams using large language models without memory growth or performance degradation. It serves as a system for maintaining constant memory usage during the generation of text from arbitrarily long input sequences. The implementation utilizes a rolling key-value cache manager and attention sink mechanisms to stabilize the attention process during continuous stream processing. By retaining initial tokens and employing a sliding window of key-value pairs, the system enables constant-time inference an

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

t is a command-line Twitter client that wraps Twitter's REST and streaming APIs, enabling users to post tweets, manage accounts, and search Twitter directly from the terminal. It supports authenticating and switching between multiple Twitter profiles stored in a local configuration file, allowing commands to be executed under the active account. The tool distinguishes itself through shell-integrated workflows, including tab completion for Zsh and Bash, and Unix-pipe-compatible output formatting that defaults to tab-separated columns for piping into standard utilities like grep and awk. It als

Dieses Projekt ist ein KI-System für den Rechtsbereich, das einen Sprachmodell-Assistenten bereitstellt, der auf einer Retrieval-Augmented-Generation-Wissensbasis basiert. Es ermöglicht Benutzern, vektorbasierte rechtliche Suchen durchzuführen und fundierte Antworten auf rechtliche Fragen zu erhalten. Das System unterstützt spezifisch die Abfrage chinesischen Rechtswissens, indem es Markdown-Dokumente in Vektor-Embeddings für die semantische Suche konvertiert. Es nutzt eine Streaming-Webschnittstelle, die inkrementelle KI-Antworten über Server-Sent-Events liefert. Das breitere Fähigkeitsspektrum umfasst die chunk-basierte Dokumentenverarbeitung, vektorbasierte Wissensindizierung und Ähnlichkeitssuche, um relevante rechtliche Zitate und Gesetze abzurufen.

Claude Agent SDK is a Python library from Anthropic for building AI agents that use Claude’s tool‑calling, streaming, and session‑management capabilities. It provides a structured framework for intercepting and logging every tool call an agent makes, managing conversation sessions across multiple turns, and controlling which tools the agent is allowed to invoke through configurable permission rules. The SDK distinguishes itself with middleware‑driven tool interception that lets developers block, modify, or require approval for tool calls before or after execution. A permission policy engine e

pyalgotrade ist eine Python-Bibliothek für algorithmischen Handel, die für die Entwicklung, das Backtesting und die Ausführung automatisierter Handelsstrategien konzipiert ist. Sie bietet ein umfassendes Framework für das Backtesting von Finanzstrategien, eine Bibliothek für technische Analyse zur Berechnung mathematischer Indikatoren sowie Konnektoren für die Integration von Kryptobörsen. Das Projekt zeichnet sich durch die Unterstützung von sentimentbasiertem Handel durch die Integration von Social-Media-Feeds und Keyword-Streams in Echtzeit aus. Es bietet ein Visualisierungstool für quantitativen Handel zum Plotten von Preisverläufen und Portfolio-Equity-Kurven sowie parallele Parameteroptimierung zur Identifizierung der effektivsten Strategieeinstellungen. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, darunter den Aufbau von Finanzdaten-Pipelines für die Aufnahme und Resampling von Marktdaten, das Order-Lifecycle-Management für Live- und Paper-Trading sowie quantitative Performance-Analysen zur Berechnung risikoadjustierter Renditen und Drawdowns. Sie enthält zudem Tools für technische Analysen, wie Volatilitätsbänder und Momentum-Indikatoren, sowie Simulationen, die Order-Slippage und Transaktionsgebühren berücksichtigen.

This project is a Ruby wrapper for the Twitter API, providing a programmatic interface to interact with the platform's REST and streaming endpoints. It serves as an API client for managing social content, users, and account activity. The library includes specialized tools for real-time data streaming, allowing the acquisition of live public posts, account events, and user activity. It differentiates itself with advanced media handling, such as chunked uploading for large files, and integrated traffic management to monitor rate limits and detect streaming stalls. Broadly, the project covers c

exllamav2 ist eine Hochleistungs-Inferenzbibliothek, die für das lokale Ausführen von Large Language Models auf Consumer-GPUs entwickelt wurde. Sie bietet einen GPU-beschleunigten Runner und Quantisierungstools, um die Modellausführung ohne Abhängigkeit von Cloud-Computing-Diensten zu ermöglichen. Das Projekt verfügt über ein Quantisierungs-Dienstprogramm, das Modelle in gemischte Bitraten zwischen zwei und acht Bit komprimiert, um den VRAM-Bedarf zu reduzieren. Es zeichnet sich durch einen gebatchten Textgenerator aus, der gruppierte Anfragen verarbeitet und Cache-Daten dedupliziert, um den Durchsatz zu erhöhen. Die Bibliothek deckt ein breites Funktionsspektrum ab, einschließlich asynchronem Token-Streaming für Echtzeit-Ausgabe, benutzerdefinierter GPU-Kernel-Ausführung für lineare Algebra-Operationen und lokalem Memory-Mapping für den Zugriff auf Modellgewichte mit geringer Latenz.

exllamav2 ist eine Hochleistungs-Inferenz-Engine und ein Framework für das lokale Ausführen von Large Language Models auf Consumer-GPUs. Es bietet ein vollständiges System für das lokale Modell-Deployment, einschließlich einer spezialisierten Inferenz-Engine und Tools für die Modellquantisierung. Das Projekt verfügt über ein Multi-GPU-Inferenz-Framework, das Arbeitslasten auf mehrere Grafikkarten verteilt, um Modelle auszuführen, die die Speicherkapazität eines einzelnen Geräts überschreiten. Es enthält einen GPU-Modell-Quantisierer, der Modelle in gemischte Präzisionsformate zwischen 2 und 8 Bit konvertieren kann, um Speichernutzung und Genauigkeit auszubalancieren. Die Engine unterstützt Textgenerierung mit hohem Durchsatz durch batch-basierte parallele Inferenz und asynchrones Output-Streaming. Diese Funktionen werden durch benutzerdefinierte CUDA-Kernel und Cache-Deduplizierung unterstützt, um die Hardwareauslastung zu optimieren und die Latenz während der Token-Generierung zu reduzieren.

Twit ist eine Node.js-Bibliothek und ein API-Client für die Interaktion mit Twitter. Sie bietet eine programmatische Schnittstelle für den Zugriff auf REST- und Streaming-API-Endpunkte, um Social-Media-Daten in JavaScript-Anwendungen zu integrieren. Die Bibliothek ermöglicht die Echtzeit-Überwachung von Twitter-Ereignissen über eine persistente Streaming-Verbindung und eine ereignisgesteuerte Architektur. Sie unterstützt zudem Account-Automatisierung, was die Verwaltung von Benutzerprofilen und die programmatische Ausführung von Account-Aktionen erlaubt. Das Toolkit deckt Medienmanagement via Chunked-File-Uploads, Identitätsmanagement durch tokenbasierte Authentifizierung und Refresh-Mechanismen sowie Netzwerksicherheit durch SSL-Zertifikats-Fingerprint-Verifizierung ab.

Dieses Projekt ist eine umfassende Lernressource und eine Reihe von Demonstrationen, die sich auf die Integration, das Deployment und die Feinabstimmung von Large Language Models konzentrieren. Es bietet Bildungsinhalte und praktische Anleitungen für die Arbeit mit KI-Modellen. Die Ressource enthält spezifische Tutorials und Kurse zur Anpassung vortrainierter Modelle an spezialisierte Datensätze unter Verwendung parameter-effizienter Feinabstimmungstechniken. Sie bietet zudem Lehrmaterial für das Ausführen quantisierter Modelle auf Consumer-Hardware und den Aufbau von Retrieval-Augmented-Generation-Pipelines unter Verwendung von Vektordatenbanken und Dokumentenindizierung. Das Projekt deckt ein breites Spektrum der KI-Anwendungsentwicklung ab, einschließlich der Integration von Large-Language-Model-APIs für Streaming-Konversationen, der Erstellung webbasierter User-Interfaces und der Implementierung von RAG-Pipelines. Die Ausführung wird durch vorkonfigurierte Cloud-basierte Notebooks auf Kaggle und Colab unterstützt, um GPU-Zugriff ohne lokale Hardware-Installationen bereitzustellen.

PRAW is a Python wrapper for the Reddit API, functioning as a REST API client and social media data crawler. It provides a programmatic interface to fetch data, manage account content, and interact with the platform. The library implements a comprehensive OAuth 2.0 client supporting multiple authorization flows, including password, implicit, and refresh tokens, as well as read-only guest access. It distinguishes itself through a rate-limit-aware request scheduler that tracks server-side throttling to prevent API quota exhaustion and employs lazy-loading resource objects to fetch data only whe

LitServe ist ein Python-Framework für KI-Inferenzserver und LLM-Serving, das für Inferenz mit hoher Nebenläufigkeit konzipiert ist. Es fungiert als verteilter KI-Modellserver und Inferenz-Engine mit dynamischem Batching und bietet die Werkzeuge zum Erstellen und Hosten benutzerdefinierter Server, auf denen KI-Modelle laufen. Das Framework zeichnet sich durch eine Request-Queue mit dynamischem Batching aus, die einzelne Inferenzanfragen zu einzelnen Tensoren gruppiert, um den GPU-Durchsatz zu maximieren. Es unterstützt verteiltes GPU-Skalieren, wodurch Modell-Workloads auf mehrere Hardware-Beschleuniger verteilt werden können, um Rechenlasten auszugleichen und die Gesamtkapazität zu erhöhen. Das System bietet eine High-Level-Wrapper-Schnittstelle, die Request-Preprocessing und Postprocessing von der Kern-Modellausführungslogik entkoppelt. Es enthält zudem Funktionen für Echtzeit-Modell-Streaming zur inkrementellen Bereitstellung von Ausgaben und nutzt eine asynchrone Event-Loop zur Handhabung gleichzeitiger Netzwerkanfragen.

Atmosphere is a Java-based framework for building and coordinating AI agents. It provides a real-time transport layer for streaming data via WebSockets, SSE, gRPC, and WebTransport, alongside a multi-agent orchestration framework for managing agent fleets through sequential, parallel, and graph-based execution workflows. The project features a durable workflow engine that persists agent state as snapshots, allowing long-running tasks to survive system restarts and incorporate human-in-the-loop approvals. It also implements Model Context Protocol servers to expose tools, resources, and prompt