Awesome GitHub RepositoriesAI Provider Gateways

mi-gpt is a voice assistant bridge and agent orchestrator that connects smart speakers to large language models. It functions as an integration layer that routes audio requests from hardware speakers to AI providers and converts generated text back into speech via a customizable synthesis system. The project features a retrieval-augmented generation knowledge base that uses embeddings and external documents to provide context-aware responses. It includes a persona definition system for configuring behavioral rules, system prompts, and roleplay characteristics, alongside a plugin architecture

CoAI is an enterprise-grade, self-hostable AI gateway platform that unifies access to over 200 AI models from more than 35 providers through a single OpenAI-compatible API endpoint. It functions as a multi-tenant gateway, routing requests across providers with load balancing, automatic failover, and priority-based routing, while exposing standard OpenAI API endpoints for chat, image generation, model listing, and billing to enable seamless integration with existing tools and clients. The platform distinguishes itself through a comprehensive set of operational capabilities built around the gat

Llama-stack este un stack de orchestrare standardizat și un gateway API pentru AI generativ. Oferă un strat de comunicare unificat și o interfață consistentă pentru implementarea, gestionarea și interacțiunea cu diverși furnizori și implementări de modele de limbaj mari (LLM). Sistemul funcționează ca un framework de agenți care gestionează execuția sarcinilor și pachete de abilități versionate pentru a automatiza sarcini complexe. Include un sistem de procesare în loturi pentru gestionarea volumelor mari de cereri asincrone prin procesare offline și o interfață de bază de date vectorială pentru stocarea și căutarea documentelor, permițând generarea augmentată prin recuperare (RAG). Stack-ul acoperă capabilități de nivel înalt, inclusiv orchestrarea agenților AI, implementarea modelelor și standardizarea API-urilor de model pentru a permite comutarea între furnizori fără a rescrie codul aplicației.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

ChatAny is a multimodal AI dashboard and large language model aggregator that provides a unified interface for accessing multiple AI services. It functions as a centralized hub for generating text, images, music, and video through the integration of various artificial intelligence models. The platform includes a SaaS management system to control service access via subscription packages, redemption codes, and referral rewards. It also features a dedicated tool for extracting text from PDF documents to enable conversational queries and analysis. The system supports image generation and editing

OmniRoute is a unified LLM API gateway that connects multiple AI providers to a single endpoint. Its primary purpose is to simplify the integration of various AI models into tools and agents by translating different provider formats into a standardized API. The project distinguishes itself through a multi-strategy request routing system that optimizes for cost, speed, and availability, including automatic model fallbacks and a circuit-breaker resilience model to isolate provider failures. It employs a local-first security posture, using AES-256-GCM encryption to store API keys and conversatio

gpt-load is a transparent proxy gateway that routes API requests to multiple AI providers—including OpenAI, Google Gemini, and Anthropic Claude—through a single endpoint while preserving each provider's native format and authentication. It acts as a centralized routing layer, allowing applications to switch between AI services by changing only the base URL without modifying any client code or business logic. The proxy distinguishes itself through intelligent traffic management across pools of API keys, offering automatic key rotation, weighted or round-robin load balancing, and failover that

Wenda este o platformă de infrastructură și gateway auto-găzduită pentru implementarea modelelor de limbaj în rețele interne, pentru a asigura confidențialitatea și securitatea datelor. Funcționează ca un hub centralizat și gateway API care unifică comunicarea între diverși rulori de modele offline și furnizori de servicii online printr-o singură interfață. Platforma include un orchestrator de flux de lucru care utilizează scripturi personalizate și apeluri API pentru a automatiza fluxurile de conversație complexe și setările modelului. De asemenea, încorporează un sistem de recuperare care augmentează răspunsurile modelului cu cunoștințe externe preluate din baze de date vectoriale și motoare de căutare. Sistemul gestionează starea conversațională și memoria prin persistența istoricului dialogului într-o bază de date pentru a menține contextul pe parcursul sesiunilor utilizatorului. Utilizează o abordare de integrare modulară pentru a permite adăugarea de noi furnizori de modele fără a modifica aplicația de bază.

Acest proiect este un bot de Telegram care integrează modele de limbaj mari (LLM), precum OpenAI și Claude, pentru a oferi o interfață de chat AI în cadrul aplicației de mesagerie. Funcționează ca un gateway AI multi-model care routează prompt-urile către diverși furnizori prin chei API și configurații YAML. Implementarea include un sistem de rutare agnostic față de furnizor și streaming de răspunsuri pentru a livra textul cuvânt cu cuvânt. Se distinge printr-un tracker de costuri bazat pe token-uri care calculează cheltuielile monetare ale cererilor API și un sistem de control al accesului bazat pe whitelist pentru a restricționa utilizarea doar la utilizatorii autorizați. Bot-ul suportă fluxuri de lucru multimodale, inclusiv generarea text-to-image, analiza modelelor de viziune pentru imaginile încărcate și transcrierea mesajelor vocale. Menține contextul conversației între sesiuni prin maparea stării persistente într-o bază de date și permite gestionarea personalităților AI pentru a personaliza comportamentul și expertiza. Aplicația este oferită ca un deployment containerizat pentru execuție consistentă în diferite medii.

Geekai is a multi-model AI platform and SaaS framework designed to deploy and manage AI agents and multimodal models through a unified interface. It serves as a multimodal AI gateway, providing centralized access to large language models and generative tools for text, image, audio, and video production. The project functions as an AI agent orchestrator, allowing for the definition of specialized personas and the import of external workflows and knowledge bases. It distinguishes itself by providing a complete commercial service layer, including credit-based billing, subscription management, an

ChatGpt-Web este o aplicație bazată pe web concepută pentru a oferi o interfață responsivă pentru interacțiunea cu modelele de limbaj mari. Aceasta funcționează ca un dashboard centralizat care permite utilizatorilor să schimbe prompt-uri text cu servicii AI generative, gestionând în același timp istoricul conversațiilor și resursele sistemului printr-o arhitectură modulară, bazată pe componente. Platforma se distinge prin încorporarea unui strat proxy backend care direcționează cererile clientului către furnizori externi de inteligență artificială. Această infrastructură permite mascarea cheilor API sensibile și redirecționarea traficului de rețea către endpoint-uri de servicii personalizate, asigurând o conectivitate sigură și controlată la modelele generative. Aplicația include instrumente pentru gestionarea fluxurilor de lucru de prompt engineering prin utilizarea unor șabloane predefinite, care ajută la standardizarea interacțiunilor pentru sarcinile comune. De asemenea, suportă continuitatea sesiunii și portabilitatea datelor prin utilizarea stocării locale a browserului pentru log-urile conversațiilor și oferind funcționalitatea de a exporta istoricul chat-ului pentru revizuire offline.

The sandbox-sdk is a development kit designed for building secure, isolated execution environments on a global edge network. It provides a framework for creating ephemeral, containerized workspaces that allow developers to run untrusted code, manage build tasks, and host automated scripts without compromising host system security. By leveraging a serverless runtime, the platform enables the deployment of these environments directly at the network edge to ensure low-latency performance. The platform distinguishes itself by integrating language models with sandboxed execution, facilitating the

This platform is a self-hosted knowledge management system designed for interacting with documents through natural language. It functions as a retrieval-augmented generation engine, allowing users to upload files and query them using large language models. The system provides a unified interface for document-based chat, ensuring that responses are grounded in the source material through specific citations. The platform distinguishes itself through a multi-tenant architecture that enforces strict data isolation between users and organizations. It features a flexible AI gateway that standardize