Awesome GitHub RepositoriesLLM Stream Processing

Eino is an AI agent development kit and LLM application framework designed for building autonomous agents and orchestrating complex language model workflows. It serves as a multi-agent orchestration engine and workflow orchestrator, providing a graph-based execution model to route data between models, tools, and retrievers. The framework distinguishes itself through a robust set of multi-agent coordination patterns, including supervisor-led management, sequential flows, and autonomous reasoning loops like ReAct. It features advanced agent execution controls such as active turn preemption, che

ollama-python is a Python client for interacting with large language models. It provides an interface for sending prompts to receive text and chat completions, as well as a dedicated client for generating numerical vector embeddings from text. The project includes a wrapper that emulates the OpenAI API, allowing applications built for that standard to interact with local models. It also provides a non-blocking asynchronous client for executing concurrent requests. The library covers the full model lifecycle, including the ability to pull, create, list, and delete models within a local enviro

This project is a long context inference engine and optimizer designed to process infinite text streams using large language models without memory growth or performance degradation. It serves as a system for maintaining constant memory usage during the generation of text from arbitrarily long input sequences. The implementation utilizes a rolling key-value cache manager and attention sink mechanisms to stabilize the attention process during continuous stream processing. By retaining initial tokens and employing a sliding window of key-value pairs, the system enables constant-time inference an

Iggy este o platformă distribuită de streaming de mesaje și un broker de mesaje multi-protocol care funcționează ca un magazin de log-uri distribuite persistente. Oferă infrastructură pentru publicarea și consumarea mesajelor binare folosind un log de tip append-only, asigurând disponibilitate ridicată și consistența datelor între noduri prin Viewstamped Replication. Platforma se distinge prin infrastructura sa specializată de streaming pentru LLM-uri, care utilizează un protocol de server pentru a conecta modelele de limbaj mari la datele de streaming și la controalele sistemului. Aceasta include protocoale standardizate pentru gestionarea contextului și bridging-ul datelor prin HTTP sau input-output standard. Sistemul acoperă un set larg de capabilități, inclusiv orchestrarea pipeline-urilor de date cu plugin-uri modulare de sursă și destinație, coordonarea grupurilor de consumatori pentru scalare orizontală și suport pentru transport multi-protocol prin TCP, QUIC, HTTP și WebSocket. De asemenea, încorporează primitive de securitate precum criptarea AES-256-GCM pentru datele stocate și în tranzit, și oferă observabilitate prin metrici Prometheus, tracing OpenTelemetry și un dashboard web operațional. Serverul poate fi implementat folosind imagini de container și orchestrat prin Kubernetes.