2 Repos
Architectural layers that intercept and route API requests to inject logic or translation without modifying client code.
Distinct from API Compatibility Layers: Existing candidates focus on specific OS or framework compatibility rather than general LLM API request interception and optimization.
Explore 2 awesome GitHub repositories matching software engineering & architecture · API Proxy Layers. Refine with filters or upvote what's useful.
OptiLLM ist ein Framework für KI-Reasoning und -Optimierung, das als API-Proxy fungiert, um die Antwortqualität von Large Language Models zu verbessern. Es fängt Anfragen ab, um während der Inferenz Reasoning-Logik anzuwenden und die Ausgabe zu verfeinern, bevor die Ergebnisse an den Client zurückgegeben werden. Das Projekt zeichnet sich durch eine Kombination aus Inferenz-Suchbäumen zur logischen Verifizierung und einer Anonymisierungs-Pipeline aus, die personenbezogene Daten aus Prompts entfernt. Zudem erweitert es die Modellfähigkeiten durch die Orchestrierung externer Tools, einschließlich Echtzeit-Codeausführung und autonomer Web-Recherche. Das System bietet eine umfassende Infrastruktur für das Modellmanagement, einschließlich Load Balancing über mehrere Anbieter hinweg sowie die Möglichkeit, lokale Modelle und Adapter bereitzustellen. Es erzwingt strukturierte Ausgaben durch Schema-Constraints und verwaltet erweiterte Konversationsverläufe über eine virtuelle Kontext-Speicherschicht. Die Proxy-Schicht ist mit Standard-API-Endpunkten kompatibel, sodass sie ohne Änderungen am bestehenden Client-Code integriert werden kann.
Ships an API-compatible proxy layer that intercepts requests to apply optimization logic without requiring client-side changes.
Parse Dashboard is a web-based administrative interface designed for managing applications powered by the Parse Server framework. It functions as a centralized console that enables developers and administrators to oversee backend configurations, user accounts, and operational settings through a graphical environment. The dashboard provides a comprehensive suite of tools for database administration, allowing users to browse, filter, and modify relational data records directly. It includes integrated capabilities for data visualization, enabling the generation of charts and graphs to track tren
Acts as a secure middleware proxy layer to forward administrative requests from the browser to the backend.