Awesome GitHub RepositoriesAI Provider Gateways

mi-gpt is a voice assistant bridge and agent orchestrator that connects smart speakers to large language models. It functions as an integration layer that routes audio requests from hardware speakers to AI providers and converts generated text back into speech via a customizable synthesis system. The project features a retrieval-augmented generation knowledge base that uses embeddings and external documents to provide context-aware responses. It includes a persona definition system for configuring behavioral rules, system prompts, and roleplay characteristics, alongside a plugin architecture

CoAI is an enterprise-grade, self-hostable AI gateway platform that unifies access to over 200 AI models from more than 35 providers through a single OpenAI-compatible API endpoint. It functions as a multi-tenant gateway, routing requests across providers with load balancing, automatic failover, and priority-based routing, while exposing standard OpenAI API endpoints for chat, image generation, model listing, and billing to enable seamless integration with existing tools and clients. The platform distinguishes itself through a comprehensive set of operational capabilities built around the gat

Llama-stack est une pile d'orchestration standardisée et une passerelle API pour l'IA générative. Il fournit une couche de communication unifiée et une interface cohérente pour déployer, gérer et interagir avec divers fournisseurs et déploiements de grands modèles de langage (LLM). Le système fonctionne comme un framework d'agents qui gère l'exécution des outils et des bundles de compétences versionnés pour automatiser des tâches complexes. Il inclut un système de traitement par lots pour gérer de grands volumes de requêtes asynchrones via un traitement hors ligne et une interface de base de données vectorielle pour stocker et rechercher des documents afin de permettre la génération augmentée par récupération (RAG). La pile couvre des capacités de haut niveau, notamment l'orchestration d'agents IA, le déploiement de modèles et la standardisation des API de modèles pour permettre de basculer entre les fournisseurs sans réécrire le code de l'application.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

ChatAny is a multimodal AI dashboard and large language model aggregator that provides a unified interface for accessing multiple AI services. It functions as a centralized hub for generating text, images, music, and video through the integration of various artificial intelligence models. The platform includes a SaaS management system to control service access via subscription packages, redemption codes, and referral rewards. It also features a dedicated tool for extracting text from PDF documents to enable conversational queries and analysis. The system supports image generation and editing

OmniRoute is a unified LLM API gateway that connects multiple AI providers to a single endpoint. Its primary purpose is to simplify the integration of various AI models into tools and agents by translating different provider formats into a standardized API. The project distinguishes itself through a multi-strategy request routing system that optimizes for cost, speed, and availability, including automatic model fallbacks and a circuit-breaker resilience model to isolate provider failures. It employs a local-first security posture, using AES-256-GCM encryption to store API keys and conversatio

gpt-load is a transparent proxy gateway that routes API requests to multiple AI providers—including OpenAI, Google Gemini, and Anthropic Claude—through a single endpoint while preserving each provider's native format and authentication. It acts as a centralized routing layer, allowing applications to switch between AI services by changing only the base URL without modifying any client code or business logic. The proxy distinguishes itself through intelligent traffic management across pools of API keys, offering automatic key rotation, weighted or round-robin load balancing, and failover that

Wenda est une plateforme d'infrastructure et de passerelle auto-hébergée pour déployer des modèles de langage au sein de réseaux internes afin d'assurer la confidentialité et la sécurité des données. Il fonctionne comme un hub centralisé et une passerelle API qui unifie la communication entre divers exécuteurs de modèles hors ligne et fournisseurs de services en ligne via une interface unique. La plateforme inclut un orchestrateur de workflow qui utilise des scripts personnalisés et des appels API pour automatiser les flux de conversation complexes et les paramètres de modèle. Elle intègre également un système de récupération qui augmente les réponses du modèle avec des connaissances externes récupérées depuis des bases de données vectorielles et des moteurs de recherche. Le système gère l'état conversationnel et la mémoire en persistant l'historique des dialogues dans une base de données pour maintenir le contexte à travers les sessions utilisateur. Il utilise une approche d'intégration modulaire pour permettre l'ajout de nouveaux fournisseurs de modèles sans modifier l'application principale.

Ce projet est un bot Telegram qui intègre des modèles de langage étendus (LLM), tels qu'OpenAI et Claude, pour fournir une interface de chat IA au sein de l'application de messagerie. Il fonctionne comme une passerelle IA multi-modèle qui route les prompts vers divers fournisseurs via des clés API et des configurations YAML. L'implémentation inclut un système de routage agnostique au fournisseur et un streaming de réponse pour délivrer le texte mot par mot. Il se distingue par un suivi des coûts basé sur les jetons qui calcule la dépense monétaire des requêtes API et un système de contrôle d'accès basé sur une liste blanche pour restreindre l'utilisation aux utilisateurs autorisés. Le bot prend en charge les flux de travail multimodaux, incluant la génération texte-vers-image, l'analyse par modèle de vision pour les images téléchargées et la transcription de messages vocaux. Il maintient le contexte de la conversation entre les sessions via un mappage d'état persistant dans une base de données et permet la gestion de personas IA pour personnaliser le comportement et l'expertise. L'application est fournie sous forme de déploiement conteneurisé pour une exécution cohérente dans différents environnements.

Geekai est une plateforme IA multi-modèles et un framework SaaS conçu pour déployer et gérer des agents IA et des modèles multimodaux via une interface unifiée. Il sert de passerelle IA multimodale, fournissant un accès centralisé aux grands modèles de langage et aux outils génératifs pour la production de texte, d'image, d'audio et de vidéo. Le projet fonctionne comme un orchestrateur d'agents IA, permettant la définition de personas spécialisés et l'importation de workflows externes et de bases de connaissances. Il se distingue en fournissant une couche de service commerciale complète, incluant la facturation basée sur des crédits, la gestion des abonnements et un écosystème de créateurs pour monétiser des applications IA personnalisées. La plateforme couvre de larges domaines de capacités incluant la génération de contenu IA pour des présentations et de la vidéo par transfert de mouvement, l'administration des opérations d'entreprise avec contrôle d'accès basé sur les rôles, et une abstraction de stockage basée sur des drivers pour gérer les assets à travers des fournisseurs locaux et cloud. Elle incorpore également l'analyse commerciale, la limitation de débit API et les migrations de base de données automatisées. Le système prend en charge le déploiement d'instances privées sur des serveurs auto-hébergés avec des paramètres HTTPS et SSL configurables.

ChatGpt-Web est une application web conçue pour fournir une interface réactive pour interagir avec de grands modèles de langage. Elle fonctionne comme un tableau de bord centralisé qui permet aux utilisateurs d'échanger des prompts textuels avec des services d'IA générative tout en gérant l'historique des conversations et les ressources système via une architecture modulaire basée sur des composants. La plateforme se distingue en incorporant une couche de proxy backend qui route les requêtes client vers des fournisseurs d'intelligence artificielle externes. Cette infrastructure permet de masquer les clés API sensibles et de rediriger le trafic réseau vers des points de terminaison de service personnalisés, garantissant une connectivité sécurisée et contrôlée aux modèles génératifs. L'application inclut des outils pour gérer les flux de travail de prompt engineering via l'utilisation de modèles prédéfinis, qui aident à standardiser les interactions pour les tâches courantes. Elle prend également en charge la continuité de session et la portabilité des données en utilisant le stockage local du navigateur pour les journaux de conversation et en fournissant une fonctionnalité pour exporter l'historique des discussions pour une consultation hors ligne.

Le sandbox-sdk est un kit de développement conçu pour construire des environnements d'exécution sécurisés et isolés sur un réseau global en périphérie (edge). Il fournit un framework pour créer des espaces de travail éphémères et conteneurisés qui permettent aux développeurs d'exécuter du code non fiable, de gérer des tâches de build et d'héberger des scripts automatisés sans compromettre la sécurité du système hôte. En tirant parti d'un runtime serverless, la plateforme permet le déploiement de ces environnements directement à la périphérie du réseau pour garantir des performances à faible latence. La plateforme se distingue par l'intégration de modèles de langage avec une exécution en sandbox, facilitant le développement d'agents IA autonomes capables d'effectuer des tâches dynamiques et de générer du code. Elle inclut des fonctionnalités spécialisées pour le développement distant interactif, telles que des sessions de terminal persistantes et le multiplexage de flux en temps réel, qui permettent un débogage actif et l'observation des processus. La sécurité est gérée par l'injection automatisée d'identifiants et des contrôles d'accès réseau, garantissant que les jetons d'authentification sensibles restent cachés du code s'exécutant dans la sandbox. Au-delà de ses capacités d'exécution de base, la plateforme prend en charge un large éventail de flux de travail, y compris l'hébergement d'applications web, les pipelines de build automatisés et la gestion de système de fichiers distant. Elle fournit des outils pour mapper les services de conteneurs internes vers des sous-domaines publics, permettant un accès distant sécurisé aux services hébergés. Le système inclut également des fonctionnalités d'observabilité pour capturer les diagnostics d'exécution et des mécanismes de mise en cache pour accélérer les cycles de développement en réutilisant les artefacts de build.

This platform is a self-hosted knowledge management system designed for interacting with documents through natural language. It functions as a retrieval-augmented generation engine, allowing users to upload files and query them using large language models. The system provides a unified interface for document-based chat, ensuring that responses are grounded in the source material through specific citations. The platform distinguishes itself through a multi-tenant architecture that enforces strict data isolation between users and organizations. It features a flexible AI gateway that standardize