Awesome GitHub RepositoriesOpenAI-Compatible API Servers

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

LiteRT-LM es un framework de inferencia de alto rendimiento diseñado para ejecutar modelos de lenguaje de gran tamaño localmente en hardware móvil, de escritorio y IoT. Sirve como un runtime de modelos en el dispositivo que utiliza aceleración de CPU, GPU y NPU para proporcionar un procesamiento de baja latencia. El framework se distingue por su capacidad para procesar entradas de texto, visión y audio a través de un único motor de inferencia multimodal. Cuenta con un servidor HTTP local que emula endpoints de API compatibles con OpenAI y un runtime basado en WebGPU para ejecutar modelos directamente dentro de un navegador web. Para garantizar la fiabilidad de la salida, incluye un generador de texto restringido que impone esquemas JSON o reglas gramaticales en las respuestas del modelo. El proyecto proporciona amplias capacidades para la gestión de conversaciones con estado, decodificación especulativa para aumentar las velocidades de generación de tokens y una interfaz de llamada a herramientas que mapea las solicitudes del modelo a funciones externas. También incluye integración especializada para el ecosistema Apple y un plugin dedicado para ejecutar modelos en Flutter. Los usuarios pueden ejecutar modelos a través de una interfaz de línea de comandos o integrarlos en aplicaciones mediante API nativas.

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Llama-swap es un orquestador de inferencia local y puerta de enlace API para modelos de lenguaje de gran tamaño. Funciona como un proxy de la API de OpenAI que gestiona el ciclo de vida de múltiples servidores de modelos locales, iniciándolos y deteniéndolos automáticamente para intercambiar modelos según los identificadores de las solicitudes entrantes. El proyecto destaca por su intercambio dinámico de modelos y optimización de hardware. Utiliza un control de concurrencia basado en matrices para definir qué modelos pueden ejecutarse simultáneamente y emplea una política de desalojo basada en costes para eliminar servidores inactivos de la memoria según los costes relativos de los recursos. El sistema proporciona una gestión integral de modelos, incluyendo alias de identificadores, filtrado de solicitudes y la ejecución de comandos de ciclo de vida para contenedores o máquinas virtuales. También incluye herramientas de observabilidad como un entorno de pruebas visual para modelos, monitorización del rendimiento del sistema en tiempo real y funciones de seguridad como verificación de claves API y cifrado TLS. Las actualizaciones de configuración se gestionan mediante recarga dinámica, que monitoriza el sistema de archivos en busca de cambios sin necesidad de reiniciar manualmente.

Este proyecto es un sistema de gestión de cuentas de modelos de lenguaje grandes y proxy multiusuario. Proporciona una puerta de enlace que permite a múltiples usuarios autenticados compartir una única suscripción de IA premium o clave de API de OpenAI. El sistema funciona como una capa de proxy que intercepta las solicitudes de los clientes y las reenvía a la API oficial mientras inyecta credenciales compartidas. Incluye un backend seguro para la gestión centralizada de credenciales y un sistema de control de acceso basado en tokens para validar las identidades de los usuarios. Para mantener la privacidad y la organización, el proyecto implementa el aislamiento de contexto basado en sesiones para evitar la fuga de conversaciones entre usuarios. También cuenta con middleware para la auditoría de actividades para rastrear el uso y monitorear el comportamiento individual del usuario. La interfaz proporciona acceso a capacidades avanzadas de modelos, incluyendo generación de imágenes, análisis de archivos y ejecución de código.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

KoboldAI-Client is a web-based interface and toolkit for interacting with large language models. It functions as a local AI text generator for storytelling and conversational AI, providing a front end for models hosted either on local hardware or within cloud-provisioned environments. The system includes a persona manager that uses external modules and soft-prompting to guide AI responses toward specific characters and writing styles. It also provides an API wrapper that exposes a standardized, OpenAI-compatible REST API, allowing external applications to communicate with the hosted models.

This project provides a unified server environment and gateway for hosting and executing open-source large language models on private infrastructure. It functions as a standardized interface that exposes locally deployed models through widely-adopted API protocols, allowing existing applications to interact with them without requiring code modifications. The platform distinguishes itself by acting as a compatibility layer that translates standard REST requests into model-specific execution calls. It supports advanced interaction patterns including real-time token streaming, function calling f