katanemo/archgw
Archgw
Archgw est un proxy de passerelle et un plan de données conçu pour les applications agentiques, fournissant une couche centralisée pour le routage, la sécurité et l'orchestration entre la logique d'application et de multiples fournisseurs de grands modèles de langage. Il fonctionne comme un orchestrateur d'agents IA qui automatise l'exécution des workflows d'agents pour supprimer la plomberie répétitive de la base de code principale.
Le système présente une couche d'interface agnostique au fournisseur qui standardise les API de modèles disparates en un format unique et un plan de données proxy transparent pour intercepter le trafic. Il emploie un routage basé sur des règles pour découpler la logique d'application des fournisseurs spécifiques et utilise des chaînes de garde-fous basées sur des intercepteurs pour filtrer les entrées et sorties pour la sécurité du contenu et la prévention du jailbreak.
La plateforme inclut un système d'observabilité qui capture automatiquement les traces de bout en bout, les métriques et les logs des interactions avec les modèles sans nécessiter d'instrumentation manuelle. Elle utilise également une orchestration de workflow pilotée par middleware pour gérer le flux des tâches agentiques et suivre les signaux de performance.
Features
- Agentic Data Planes - Provides a centralized data plane for routing and safety between application logic and various AI model endpoints.
- Agentic Workflow Orchestration - Provides a system for executing complex agent processes by delegating tasks to autonomous agents.
- Model Request Routing - Provides mechanisms for directing API requests to different AI backends based on predefined routing rules.
- AI Safety Guardrails - Implements systems for detecting model jailbreaks, moderating content, and enforcing safety policies.
- Model Proxy Gateways - Implements a gateway proxy that provides a unified interface and routing for multiple LLM providers.
- Provider-Agnostic Model Interfaces - Provides an abstraction layer that standardizes disparate LLM provider APIs into a single consistent format.
- AI Agent Orchestrators - Coordinates model providers and task execution specifically to manage the lifecycle of AI agents.
- Signal-Based Routing Rules - Evaluates decision rules over signals to select the appropriate model provider and decouple application logic.
- Transparent Proxies - Implements a proxy that intercepts agent traffic for telemetry and policy enforcement without requiring client-side changes.
- Model Safety Filters - Ships validation layers for blocking or sanitizing model inputs and outputs based on safety policies.
- LLM Safety Enforcers - Enforces jailbreak, PII, and hallucination controls at the routing layer to block unsafe content.
- Input and Output Guardrails - Provides middleware to filter out-of-scope queries and validate generated content against safety rules.
- Request-Response Filter Chains - Ships a sequence of interceptors to validate and filter AI requests and responses for safety and correctness.
- Agent Workflow Orchestrators - Executes automated agent tasks by routing requests through programmable logic layers and state handlers.
- LLM Observability - Provides monitoring and tracing tools specifically tailored for LLM applications and agentic workflows.
- Agent Observability - Captures traces and evaluates the decision-making accuracy of autonomous agents without manual instrumentation.
- Agent Performance Monitoring - Tracks operational metrics and interaction signals from automated agents to monitor performance.
- Automatic Tracing Instrumentation - Implements automatic instrumentation for capturing end-to-end execution details and performance metrics for model calls.
- LLM Performance Monitoring - Automatically tracks performance metrics and execution traces for large language model operations.
- Agent Frameworks - High-performance proxy for agent routing and guardrail application.
- Agent Orchestration - Intelligent gateway for managing agent interactions.
