5 repository-uri
Mechanisms for sharing thread pools and memory buffers across concurrent model execution sessions.
Distinct from Shared Memory Buffers: Distinct from Shared Memory Buffers: focuses on session-level resource sharing for concurrent model execution rather than inter-process data passing.
Explore 5 awesome GitHub repositories matching data & databases · Runtime Resource Sharing. Refine with filters or upvote what's useful.
MNN is a high-performance inference engine and framework designed for on-device machine learning. It provides a comprehensive environment for executing, optimizing, and deploying neural network models directly on mobile and resource-constrained edge devices. The framework distinguishes itself through a robust model optimization toolkit that supports quantization, compression, and structural graph manipulation to minimize memory footprint and maximize execution speed. It features a modular architecture that abstracts hardware-specific backends, allowing models to run efficiently across diverse
Minimizes resource overhead by sharing thread pools and memory buffers across multiple concurrent model execution sessions.
RealtimeSTT is a local speech-to-text engine and real-time automatic speech recognition server. It utilizes transformer-based recognition and omnilingual pipelines to convert live audio streams into text, providing a WebSocket-based streaming API for raw PCM audio transmission. The project is distinguished by a dual-backend transcription pipeline that uses a lightweight engine for immediate partial suggestions and a heavier model for final high-accuracy results. It includes a wake word detection system to trigger recording and employs a shared-resource inference model to distribute heavy spee
Loads heavy speech models into memory once and shares them across multiple concurrent user sessions to minimize overhead.
Agency Swarm is a multi-agent orchestration framework and development kit designed to coordinate specialized AI agents through defined communication patterns and handoffs. It functions as a system for managing agent swarms, providing an API gateway to expose these coordinated collectives as production-ready HTTP endpoints. The project distinguishes itself through its Model Context Protocol integration layer, which connects agents to external data sources and capabilities. It implements specialized orchestration patterns, such as the orchestrator-worker model and role-based delegation, to tran
Distributes common instructions, tools, and files across a group of agents to ensure consistency.
Agent-OS is an LLM multi-agent orchestration framework and AI software development lifecycle tool designed to coordinate specialized agents through shared workspaces and structured task lists. It functions as an agentic application bootstrapper and technical specification engine, providing the infrastructure to guide the process from product requirements to automated coding and deployment. The system distinguishes itself through spec-driven development, using detailed technical specifications and layered context injection to ensure generated code aligns with project standards. It employs a ma
Provides a common environment where specialized agents share files, instructions, and task lists.
Oh-my-agent este un framework de orchestrare agnostic față de furnizor, conceput pentru a gestiona echipe de agenți autonomi și a automatiza fluxuri de lucru complexe de inginerie. Funcționează ca un instrument de dezvoltare multi-agent care sincronizează comportamentul agenților, abilitățile și regulile specifice proiectului în diverse medii de dezvoltare și interfețe de linie de comandă. Platforma se distinge prin proiecția bazată pe configurare, care menține o sursă unică de adevăr pentru definițiile agenților care sunt mapate în diverse formate de runtime specifice furnizorului. Prin utilizarea bridging-ului de symlink-uri cross-platform și a unui registru de abilități agnostic față de furnizor, asigură că capabilitățile modulare și reutilizabile rămân consistente indiferent de asistentul de codare AI sau IDE-ul utilizat. Sistemul oferă o suită cuprinzătoare de instrumente pentru gestionarea ciclului de viață al agentului, inclusiv indexarea semantică pentru navigarea în cod, bariere de execuție cu resurse limitate pentru a gestiona consumul de token-uri și porți de calitate automatizate pentru securitate și conformitate. Suportă orchestrarea sarcinilor în mai mulți pași prin declanșatoare bazate pe intenție, permițând programarea sarcinilor de întreținere și execuția binarilor externi în cadrul fluxurilor de lucru definite. Configurarea este gestionată prin profiluri centralizate și sincronizare automatizată, asigurând integritatea în mediile de proiect. Sistemul este conceput pentru a fi instalat și inițializat ca un strat fundamental pentru automatizarea sarcinilor de dezvoltare, cercetare și infrastructură în cadrul unui repository.
Distributes shared instructions and toolsets across agent teams to ensure behavioral consistency.