Awesome GitHub RepositoriesAI Provider Gateways

mi-gpt is a voice assistant bridge and agent orchestrator that connects smart speakers to large language models. It functions as an integration layer that routes audio requests from hardware speakers to AI providers and converts generated text back into speech via a customizable synthesis system. The project features a retrieval-augmented generation knowledge base that uses embeddings and external documents to provide context-aware responses. It includes a persona definition system for configuring behavioral rules, system prompts, and roleplay characteristics, alongside a plugin architecture

CoAI is an enterprise-grade, self-hostable AI gateway platform that unifies access to over 200 AI models from more than 35 providers through a single OpenAI-compatible API endpoint. It functions as a multi-tenant gateway, routing requests across providers with load balancing, automatic failover, and priority-based routing, while exposing standard OpenAI API endpoints for chat, image generation, model listing, and billing to enable seamless integration with existing tools and clients. The platform distinguishes itself through a comprehensive set of operational capabilities built around the gat

Llama-stack es un stack de orquestación estandarizado y una puerta de enlace de API para IA generativa. Proporciona una capa de comunicación unificada y una interfaz consistente para desplegar, gestionar e interactuar con varios proveedores y despliegues de modelos de lenguaje de gran tamaño. El sistema funciona como un framework de agentes que gestiona la ejecución de herramientas y paquetes de habilidades versionados para automatizar tareas complejas. Incluye un sistema de procesamiento por lotes para manejar grandes volúmenes de solicitudes asíncronas mediante procesamiento offline y una interfaz de base de datos vectorial para almacenar y buscar documentos, permitiendo la generación aumentada por recuperación (RAG). El stack cubre capacidades de alto nivel, incluyendo la orquestación de agentes de IA, el despliegue de modelos y la estandarización de APIs de modelos para permitir el cambio entre proveedores sin reescribir el código de la aplicación.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

ChatAny is a multimodal AI dashboard and large language model aggregator that provides a unified interface for accessing multiple AI services. It functions as a centralized hub for generating text, images, music, and video through the integration of various artificial intelligence models. The platform includes a SaaS management system to control service access via subscription packages, redemption codes, and referral rewards. It also features a dedicated tool for extracting text from PDF documents to enable conversational queries and analysis. The system supports image generation and editing

OmniRoute is a unified LLM API gateway that connects multiple AI providers to a single endpoint. Its primary purpose is to simplify the integration of various AI models into tools and agents by translating different provider formats into a standardized API. The project distinguishes itself through a multi-strategy request routing system that optimizes for cost, speed, and availability, including automatic model fallbacks and a circuit-breaker resilience model to isolate provider failures. It employs a local-first security posture, using AES-256-GCM encryption to store API keys and conversatio

gpt-load is a transparent proxy gateway that routes API requests to multiple AI providers—including OpenAI, Google Gemini, and Anthropic Claude—through a single endpoint while preserving each provider's native format and authentication. It acts as a centralized routing layer, allowing applications to switch between AI services by changing only the base URL without modifying any client code or business logic. The proxy distinguishes itself through intelligent traffic management across pools of API keys, offering automatic key rotation, weighted or round-robin load balancing, and failover that

Wenda es una plataforma de infraestructura y gateway autohospedada para desplegar modelos de lenguaje dentro de redes internas para garantizar la privacidad y seguridad de los datos. Funciona como un hub centralizado y API gateway que unifica la comunicación entre varios ejecutores de modelos offline y proveedores de servicios online a través de una única interfaz. La plataforma incluye un orquestador de flujo de trabajo que utiliza scripts personalizados y llamadas a API para automatizar flujos de conversación complejos y configuraciones de modelos. También incorpora un sistema de recuperación que aumenta las respuestas del modelo con conocimiento externo recuperado de bases de datos vectoriales y motores de búsqueda. El sistema gestiona el estado y la memoria conversacional persistiendo el historial de diálogo en una base de datos para mantener el contexto a través de las sesiones de usuario. Utiliza un enfoque de integración modular para permitir la adición de nuevos proveedores de modelos sin modificar la aplicación principal.

Este proyecto es un bot de Telegram que integra modelos de lenguaje de gran tamaño (LLM), como OpenAI y Claude, para proporcionar una interfaz de chat con IA dentro de la aplicación de mensajería. Funciona como una pasarela de IA multi-modelo que enruta los prompts a varios proveedores mediante claves API y configuraciones YAML. La implementación incluye un sistema de enrutamiento agnóstico al proveedor y streaming de respuestas para entregar texto palabra por palabra. Se distingue por un rastreador de costos basado en tokens que calcula el gasto monetario de las solicitudes API y un sistema de control de acceso basado en listas blancas para restringir el uso a usuarios autorizados. El bot soporta flujos de trabajo multimodales, incluyendo generación de texto a imagen, análisis de modelos de visión para imágenes subidas y transcripción de mensajes de voz. Mantiene el contexto de la conversación entre sesiones mediante el mapeo de estado persistente en una base de datos y permite la gestión de personalidades de IA para personalizar el comportamiento y la experiencia. La aplicación se proporciona como un despliegue contenedorizado para una ejecución consistente en diferentes entornos.

Geekai es una plataforma de IA multi-modelo y framework SaaS diseñado para desplegar y gestionar agentes de IA y modelos multimodales a través de una interfaz unificada. Sirve como puerta de enlace de IA multimodal, proporcionando acceso centralizado a modelos de lenguaje grandes y herramientas generativas para producción de texto, imagen, audio y video. El proyecto funciona como un orquestador de agentes de IA, permitiendo la definición de personas especializadas y la importación de flujos de trabajo externos y bases de conocimiento. Se distingue por proporcionar una capa de servicio comercial completa, incluyendo facturación basada en créditos, gestión de suscripciones y un ecosistema de creadores para monetizar aplicaciones de IA personalizadas. La plataforma cubre amplias áreas de capacidad, incluyendo generación de contenido de IA para presentaciones y video de transferencia de movimiento, administración de operaciones empresariales con control de acceso basado en roles y una abstracción de almacenamiento basada en controladores para gestionar activos a través de proveedores locales y en la nube. También incorpora análisis de negocios, limitación de tasa de API y migraciones automáticas de bases de datos. El sistema admite el despliegue de instancias privadas en servidores autogestionados con configuraciones HTTPS y SSL configurables.

ChatGpt-Web es una aplicación basada en web diseñada para proporcionar una interfaz receptiva para interactuar con modelos de lenguaje grandes. Funciona como un panel centralizado que permite a los usuarios intercambiar prompts de texto con servicios de IA generativa mientras gestionan el historial de conversaciones y los recursos del sistema a través de una arquitectura modular basada en componentes. La plataforma destaca por incorporar una capa de proxy backend que enruta las solicitudes del cliente a proveedores de inteligencia artificial externos. Esta infraestructura permite el enmascaramiento de claves API sensibles y la redirección del tráfico de red a endpoints de servicio personalizados, asegurando una conectividad segura y controlada a modelos generativos. La aplicación incluye herramientas para gestionar flujos de trabajo de ingeniería de prompts mediante el uso de plantillas predefinidas, que ayudan a estandarizar las interacciones para tareas comunes. También admite la continuidad de la sesión y la portabilidad de datos utilizando el almacenamiento local del navegador para registros de conversación y proporcionando funcionalidad para exportar el historial de chat para su revisión sin conexión.

El sandbox-sdk es un kit de desarrollo diseñado para construir entornos de ejecución seguros y aislados en una red global de borde (edge network). Proporciona un framework para crear espacios de trabajo efímeros y contenerizados que permiten a los desarrolladores ejecutar código no confiable, gestionar tareas de compilación y alojar scripts automatizados sin comprometer la seguridad del sistema anfitrión. Al aprovechar un runtime serverless, la plataforma permite el despliegue de estos entornos directamente en el borde de la red para garantizar un rendimiento de baja latencia. La plataforma se distingue por integrar modelos de lenguaje con ejecución en sandbox, facilitando el desarrollo de agentes de IA autónomos que pueden realizar tareas dinámicas y generar código. Incluye funciones especializadas para el desarrollo remoto interactivo, como sesiones de terminal persistentes y multiplexación de flujos en tiempo real, que permiten la depuración activa y la observación de procesos. La seguridad se gestiona mediante la inyección automatizada de credenciales y controles de acceso a la red, asegurando que los tokens de autenticación sensibles permanezcan ocultos del código que se ejecuta dentro del sandbox. Más allá de sus capacidades principales de ejecución, la plataforma admite una amplia gama de flujos de trabajo, incluyendo alojamiento de aplicaciones web, pipelines de compilación automatizados y gestión remota del sistema de archivos. Proporciona herramientas para mapear servicios de contenedores internos a subdominios públicos, permitiendo el acceso remoto seguro a los servicios alojados. El sistema también incluye funciones de observabilidad para capturar diagnósticos en tiempo de ejecución y mecanismos de caché para acelerar los ciclos de desarrollo mediante la reutilización de artefactos de compilación.

This platform is a self-hosted knowledge management system designed for interacting with documents through natural language. It functions as a retrieval-augmented generation engine, allowing users to upload files and query them using large language models. The system provides a unified interface for document-based chat, ensuring that responses are grounded in the source material through specific citations. The platform distinguishes itself through a multi-tenant architecture that enforces strict data isolation between users and organizations. It features a flexible AI gateway that standardize