Awesome GitHub RepositoriesAPI Proxies

Dieses Projekt ist ein REST-API-Proxy und Gateway für den Midjourney-Discord-Bot. Es fungiert als Wrapper, der Standard-API-Aufrufe in Discord-Nachrichten übersetzt und so die Automatisierung der KI-Bildgenerierung ohne direkte Interaktion mit der Discord-Oberfläche ermöglicht. Das System umfasst einen Multi-Account-Load-Balancer, der Generierungsaufgaben auf einen Pool authentifizierter Accounts verteilt, um Rate-Limits zu verwalten und den Durchsatz zu erhöhen. Es verfügt zudem über einen Content-Filtering-Proxy, um sensible Wörter aus Prompts zu entfernen, sowie eine Übersetzungsschicht, die nicht-englische Texte über externe Dienste ins Englische konvertiert. Das Gateway deckt eine Reihe von Bildoperationen ab, einschließlich Generierung, Blending, Beschreiben, Upscaling und Verfeinerung von Visuals. Der Zugriff wird über Secret-Key-Authentifizierung verwaltet, und das System bietet eine Fortschrittsverfolgung für Aufgaben, um den Status asynchroner Generierungsaufträge zu überwachen.

RouteLLM is a routing framework and traffic manager designed to direct prompts between high-capability and low-cost large language models. It functions as an API gateway that mimics the OpenAI specification to route requests across different model providers. The system optimizes operational costs by splitting traffic between model tiers based on predicted win rates and prompt complexity. It includes a calibration tool to analyze sample queries and determine the optimal cost-quality tradeoff for traffic distribution. The framework provides a tool for measuring the accuracy and cost efficiency