Awesome GitHub RepositoriesAI Provider Gateways

mi-gpt is a voice assistant bridge and agent orchestrator that connects smart speakers to large language models. It functions as an integration layer that routes audio requests from hardware speakers to AI providers and converts generated text back into speech via a customizable synthesis system. The project features a retrieval-augmented generation knowledge base that uses embeddings and external documents to provide context-aware responses. It includes a persona definition system for configuring behavioral rules, system prompts, and roleplay characteristics, alongside a plugin architecture

CoAI is an enterprise-grade, self-hostable AI gateway platform that unifies access to over 200 AI models from more than 35 providers through a single OpenAI-compatible API endpoint. It functions as a multi-tenant gateway, routing requests across providers with load balancing, automatic failover, and priority-based routing, while exposing standard OpenAI API endpoints for chat, image generation, model listing, and billing to enable seamless integration with existing tools and clients. The platform distinguishes itself through a comprehensive set of operational capabilities built around the gat

Llama-stack ist ein standardisierter Orchestrierungs-Stack und ein API-Gateway für generative KI. Es bietet eine einheitliche Kommunikationsschicht und eine konsistente Schnittstelle für die Bereitstellung, Verwaltung und Interaktion mit verschiedenen Anbietern und Deployments von Large Language Models. Das System fungiert als Agenten-Framework, das die Aufgabenausführung und versionierte Skill-Bundles verwaltet, um komplexe Aufgaben zu automatisieren. Es enthält ein Batch-Verarbeitungssystem für die Handhabung großer Mengen asynchroner Anfragen durch Offline-Verarbeitung sowie eine Vektordatenbank-Schnittstelle zum Speichern und Durchsuchen von Dokumenten, um Retrieval Augmented Generation zu ermöglichen. Der Stack deckt hochrangige Funktionen ab, einschließlich KI-Agenten-Orchestrierung, Modell-Deployment und die Standardisierung von Modell-APIs, um den Wechsel zwischen Anbietern zu ermöglichen, ohne den Anwendungscode umschreiben zu müssen.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

ChatAny is a multimodal AI dashboard and large language model aggregator that provides a unified interface for accessing multiple AI services. It functions as a centralized hub for generating text, images, music, and video through the integration of various artificial intelligence models. The platform includes a SaaS management system to control service access via subscription packages, redemption codes, and referral rewards. It also features a dedicated tool for extracting text from PDF documents to enable conversational queries and analysis. The system supports image generation and editing

OmniRoute is a unified LLM API gateway that connects multiple AI providers to a single endpoint. Its primary purpose is to simplify the integration of various AI models into tools and agents by translating different provider formats into a standardized API. The project distinguishes itself through a multi-strategy request routing system that optimizes for cost, speed, and availability, including automatic model fallbacks and a circuit-breaker resilience model to isolate provider failures. It employs a local-first security posture, using AES-256-GCM encryption to store API keys and conversatio

gpt-load is a transparent proxy gateway that routes API requests to multiple AI providers—including OpenAI, Google Gemini, and Anthropic Claude—through a single endpoint while preserving each provider's native format and authentication. It acts as a centralized routing layer, allowing applications to switch between AI services by changing only the base URL without modifying any client code or business logic. The proxy distinguishes itself through intelligent traffic management across pools of API keys, offering automatic key rotation, weighted or round-robin load balancing, and failover that

Wenda ist eine selbstgehostete Infrastruktur- und Gateway-Plattform für das Deployment von Sprachmodellen innerhalb interner Netzwerke, um Datendatenschutz und Sicherheit zu gewährleisten. Sie fungiert als zentraler Hub und API-Gateway, das die Kommunikation zwischen verschiedenen Offline-Modell-Runnern und Online-Service-Providern über ein einziges Interface vereinheitlicht. Die Plattform enthält einen Workflow-Orchestrator, der benutzerdefinierte Skripte und API-Aufrufe verwendet, um komplexe Konversationsabläufe und Modelleinstellungen zu automatisieren. Zudem integriert sie ein Retrieval-System, das Modellantworten mit externem Wissen aus Vektordatenbanken und Suchmaschinen anreichert. Das System verwaltet den Konversationsstatus und das Gedächtnis durch Persistierung der Dialoghistorie in einer Datenbank, um den Kontext über Benutzersitzungen hinweg aufrechtzuerhalten. Es nutzt einen modularen Integrationsansatz, um das Hinzufügen neuer Modell-Provider zu ermöglichen, ohne die Kernanwendung modifizieren zu müssen.

Dieses Projekt ist ein Telegram-Bot, der Large Language Models (LLMs) wie OpenAI und Claude integriert, um ein KI-Chat-Interface innerhalb der Messaging-App bereitzustellen. Er fungiert als Multi-Modell-KI-Gateway, das Prompts über API-Keys und YAML-Konfigurationen an verschiedene Anbieter weiterleitet. Die Implementierung umfasst ein anbieterunabhängiges Routing-System und Response-Streaming, um Text Wort für Wort auszugeben. Er zeichnet sich durch einen tokenbasierten Kosten-Tracker aus, der die monetären Ausgaben von API-Anfragen berechnet, sowie durch ein Whitelist-basiertes Zugriffskontrollsystem, um die Nutzung auf autorisierte Benutzer zu beschränken. Der Bot unterstützt multimodale Workflows, einschließlich Text-to-Image-Generierung, Vision-Modell-Analyse für hochgeladene Bilder und Transkription von Sprachnachrichten. Er behält den Konversationskontext über Sitzungen hinweg durch persistentes State-Mapping in einer Datenbank bei und ermöglicht das Management von KI-Personas, um Verhalten und Expertise anzupassen. Die Anwendung wird als containerisiertes Deployment für eine konsistente Ausführung in verschiedenen Umgebungen bereitgestellt.

Geekai is a multi-model AI platform and SaaS framework designed to deploy and manage AI agents and multimodal models through a unified interface. It serves as a multimodal AI gateway, providing centralized access to large language models and generative tools for text, image, audio, and video production. The project functions as an AI agent orchestrator, allowing for the definition of specialized personas and the import of external workflows and knowledge bases. It distinguishes itself by providing a complete commercial service layer, including credit-based billing, subscription management, an

ChatGpt-Web ist eine Web-basierte Anwendung, die eine responsive Schnittstelle für die Interaktion mit großen Sprachmodellen bietet. Sie fungiert als zentrales Dashboard, das es Benutzern ermöglicht, Text-Prompts mit generativen KI-Diensten auszutauschen und gleichzeitig den Gesprächsverlauf und Systemressourcen über eine modulare, komponentenbasierte Architektur zu verwalten. Die Plattform zeichnet sich durch die Integration einer Backend-Proxy-Schicht aus, die Client-Anfragen an externe KI-Anbieter weiterleitet. Diese Infrastruktur ermöglicht die Maskierung sensibler API-Keys und die Umleitung des Netzwerkverkehrs auf benutzerdefinierte Service-Endpunkte, wodurch eine sichere und kontrollierte Konnektivität zu generativen Modellen gewährleistet wird. Die Anwendung enthält Tools zur Verwaltung von Prompt-Engineering-Workflows durch die Verwendung vordefinierter Templates, die helfen, Interaktionen für gängige Aufgaben zu standardisieren. Sie unterstützt zudem Sitzungskontinuität und Datenportabilität durch die Nutzung des lokalen Browser-Speichers für Gesprächsprotokolle und bietet Funktionen zum Exportieren des Chat-Verlaufs für die Offline-Überprüfung.

Das sandbox-sdk ist ein Development Kit für den Aufbau sicherer, isolierter Ausführungsumgebungen in einem globalen Edge-Netzwerk. Es bietet ein Framework zur Erstellung ephemerer, containerisierter Arbeitsbereiche, die es Entwicklern ermöglichen, nicht vertrauenswürdigen Code auszuführen, Build-Aufgaben zu verwalten und automatisierte Skripte zu hosten, ohne die Sicherheit des Host-Systems zu gefährden. Durch die Nutzung einer serverlosen Laufzeitumgebung ermöglicht die Plattform das Deployment dieser Umgebungen direkt an der Netzwerk-Edge, um eine niedrige Latenz zu gewährleisten. Die Plattform zeichnet sich durch die Integration von Sprachmodellen mit Sandbox-Ausführung aus, was die Entwicklung autonomer KI-Agenten erleichtert, die dynamische Aufgaben ausführen und Code generieren können. Sie enthält spezialisierte Funktionen für interaktives Remote-Development, wie persistente Terminal-Sitzungen und Echtzeit-Stream-Multiplexing, die aktives Debugging und die Beobachtung von Prozessen ermöglichen. Sicherheit wird durch automatisierte Credential-Injection und Netzwerkzugriffskontrollen verwaltet, wodurch sichergestellt wird, dass sensible Authentifizierungstoken vor dem in der Sandbox laufenden Code verborgen bleiben. Über ihre Kernfunktionen hinaus unterstützt die Plattform eine breite Palette von Workflows, einschließlich Web-App-Hosting, automatisierter Build-Pipelines und Remote-Dateisystemverwaltung. Sie bietet Tools zum Mapping interner Container-Dienste auf öffentliche Subdomains, was einen sicheren Remote-Zugriff auf gehostete Dienste ermöglicht. Das System enthält zudem Observability-Funktionen zur Erfassung von Laufzeitdiagnosen sowie Caching-Mechanismen, um Entwicklungszyklen durch die Wiederverwendung von Build-Artefakten zu beschleunigen.

This platform is a self-hosted knowledge management system designed for interacting with documents through natural language. It functions as a retrieval-augmented generation engine, allowing users to upload files and query them using large language models. The system provides a unified interface for document-based chat, ensuring that responses are grounded in the source material through specific citations. The platform distinguishes itself through a multi-tenant architecture that enforces strict data isolation between users and organizations. It features a flexible AI gateway that standardize