Awesome GitHub RepositoriesOpenAI-Compatible API Servers

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

LiteRT-LM ist ein Hochleistungs-Inferenz-Framework, das darauf ausgelegt ist, Large Language Models lokal auf Mobil-, Desktop- und IoT-Hardware auszuführen. Es dient als On-Device-Modell-Laufzeitumgebung, die CPU-, GPU- und NPU-Beschleunigung nutzt, um eine Verarbeitung mit geringer Latenz zu ermöglichen. Das Framework zeichnet sich durch die Fähigkeit aus, Text-, Bild- und Audioeingaben über eine einzige multimodale Inferenz-Engine zu verarbeiten. Es verfügt über einen lokalen HTTP-Server, der OpenAI-kompatible API-Endpunkte emuliert, sowie eine WebGPU-basierte Laufzeitumgebung zur Ausführung von Modellen direkt im Webbrowser. Um die Zuverlässigkeit der Ausgabe zu gewährleisten, enthält es einen eingeschränkten Textgenerator, der JSON-Schemas oder Grammatikregeln für Modellantworten erzwingt. Das Projekt bietet umfassende Funktionen für zustandsbehaftetes Konversationsmanagement, spekulative Dekodierung für höhere Token-Generierungsgeschwindigkeiten und eine Tool-Calling-Schnittstelle, die Modellanfragen auf externe Funktionen abbildet. Es beinhaltet zudem eine spezialisierte Integration für das Apple-Ökosystem und ein dediziertes Plugin für die Modellausführung in Flutter. Benutzer können Modelle über eine Befehlszeilenschnittstelle ausführen oder sie über native APIs in Anwendungen integrieren.

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Llama-swap is a local inference orchestrator and API gateway for large language models. It functions as an OpenAI API proxy that manages the lifecycle of multiple local model servers, automatically starting and stopping them to swap models based on incoming request identifiers. The project distinguishes itself through dynamic model swapping and hardware optimization. It utilizes a specialized matrix-based concurrency control to define which models can run simultaneously and employs cost-based eviction to remove inactive servers from memory based on relative resource costs. The system provide

Dieses Projekt ist ein Account-Managementsystem für Large Language Models und ein Multi-User-Proxy. Es bietet ein Gateway, das es mehreren authentifizierten Benutzern ermöglicht, ein einziges Premium-KI-Abonnement oder einen OpenAI-API-Key zu teilen. Das System fungiert als Proxy-Schicht, die Client-Anfragen abfängt und an die offizielle API weiterleitet, während geteilte Anmeldedaten injiziert werden. Es enthält ein sicheres Backend für zentralisiertes Credential-Management und ein tokenbasiertes Zugriffskontrollsystem zur Validierung von Benutzeridentitäten. Um Privatsphäre und Organisation zu wahren, implementiert das Projekt sitzungsbasierte Kontextisolierung, um Konversationslecks zwischen Benutzern zu verhindern. Es verfügt zudem über Middleware für Aktivitäts-Auditing, um die Nutzung zu verfolgen und das Verhalten einzelner Benutzer zu überwachen. Das Interface bietet Zugriff auf fortgeschrittene Modellfunktionen, einschließlich Bildgenerierung, Dateianalyse und Codeausführung.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

KoboldAI-Client ist eine webbasierte Oberfläche und ein Toolkit für die Interaktion mit Large Language Models. Es fungiert als lokaler KI-Textgenerator für Storytelling und konversationelle KI und bietet ein Frontend für Modelle, die entweder auf lokaler Hardware oder in Cloud-Umgebungen gehostet werden. Das System umfasst einen Persona-Manager, der externe Module und Soft-Prompting nutzt, um KI-Antworten auf bestimmte Charaktere und Schreibstile auszurichten. Zudem bietet es einen API-Wrapper, der eine standardisierte, OpenAI-kompatible REST-API bereitstellt, wodurch externe Anwendungen mit den gehosteten Modellen kommunizieren können. Die Plattform unterstützt verschiedene Interaktionsmodi für Schreiben, Gaming und Chatbots und enthält sandboxed Scripting zur Automatisierung der Datenverarbeitung sowie zum Filtern von Modellein- und -ausgaben. Die Bereitstellungsoptionen reichen von privater lokaler Ausführung bis hin zu containerisierten Cloud-GPU-Umgebungen.

This project provides a unified server environment and gateway for hosting and executing open-source large language models on private infrastructure. It functions as a standardized interface that exposes locally deployed models through widely-adopted API protocols, allowing existing applications to interact with them without requiring code modifications. The platform distinguishes itself by acting as a compatibility layer that translates standard REST requests into model-specific execution calls. It supports advanced interaction patterns including real-time token streaming, function calling f