Awesome GitHub RepositoriesServer-Side REST API Frameworks

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

This project is a full-stack project management web application designed for organizing work and managing project workflows. It consists of a Node.js TypeScript REST API for server-side business logic and a React component UI library for the frontend interface. The application implements a board-based task visualization system with customizable status workflows. It provides mechanisms for issue workflow management, including task prioritization and team member assignment to track responsibilities and progress. The system is built with a decoupled client-server architecture using full-stack T

WildfireChat’s im-server is an open-source instant messaging backend that handles message routing, user management, and group chat for private deployments. It provides a self-hosted messaging platform that can run on private infrastructure without third-party cloud dependencies, supporting enterprise messaging with group management, user directories, and external system integration. The server synchronizes messages and state across mobile, desktop, web, and mini-program clients simultaneously, and supports real-time audio/video calls with group conferencing and live streaming. It includes enc

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

Aim is an open-source platform for logging, visualizing, and comparing machine learning training runs and LLM traces. It provides a remote tracking server and a comparison UI, functioning as an ML experiment tracker, AI workflow logger, and LLM trace recorder that captures prompts, generations, and tool calls from AI applications. The platform distinguishes itself through a run-based data model with local SQLite storage, real-time metric streaming, and a plugin-based explorer system that supports specialized visual analysis of metrics, images, audio, and text. It offers a Python SDK with cont

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

LiteRT-LM ist ein Hochleistungs-Inferenz-Framework, das darauf ausgelegt ist, Large Language Models lokal auf Mobil-, Desktop- und IoT-Hardware auszuführen. Es dient als On-Device-Modell-Laufzeitumgebung, die CPU-, GPU- und NPU-Beschleunigung nutzt, um eine Verarbeitung mit geringer Latenz zu ermöglichen. Das Framework zeichnet sich durch die Fähigkeit aus, Text-, Bild- und Audioeingaben über eine einzige multimodale Inferenz-Engine zu verarbeiten. Es verfügt über einen lokalen HTTP-Server, der OpenAI-kompatible API-Endpunkte emuliert, sowie eine WebGPU-basierte Laufzeitumgebung zur Ausführung von Modellen direkt im Webbrowser. Um die Zuverlässigkeit der Ausgabe zu gewährleisten, enthält es einen eingeschränkten Textgenerator, der JSON-Schemas oder Grammatikregeln für Modellantworten erzwingt. Das Projekt bietet umfassende Funktionen für zustandsbehaftetes Konversationsmanagement, spekulative Dekodierung für höhere Token-Generierungsgeschwindigkeiten und eine Tool-Calling-Schnittstelle, die Modellanfragen auf externe Funktionen abbildet. Es beinhaltet zudem eine spezialisierte Integration für das Apple-Ökosystem und ein dediziertes Plugin für die Modellausführung in Flutter. Benutzer können Modelle über eine Befehlszeilenschnittstelle ausführen oder sie über native APIs in Anwendungen integrieren.

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

LoopBack Next is a Node.js API framework used for building REST and multi-protocol APIs. It functions as an OpenAPI server implementation that can either generate machine-readable specifications from code or produce implementation controllers and models from existing specifications. The framework distinguishes itself through a central dependency injection container and a repository-pattern data access layer. This architecture decouples application logic from component construction and persistent storage, allowing for a pluggable system where data sources and business logic are isolated throug

codeigniter-restserver ist ein REST-API-Framework und eine Controller-Bibliothek zum Erstellen von RESTful-Servern innerhalb der CodeIgniter-PHP-Umgebung. Es fungiert als Backend-Implementierung, die standardmäßige HTTP-Methoden verarbeitet, um Daten und Funktionen über strukturierte Endpunkte bereitzustellen. Das Projekt enthält eine anpassbare Response-Engine, die die Transformation von Ausgabedaten in verschiedene spezifische Formate durch benutzerdefinierte Formatierungsmethoden ermöglicht. Die Bibliothek bietet Tools zur Zuordnung eingehender HTTP-Anfragen zu Controller-Methoden, zur Verwaltung von Ressourcen-Antworten und zur Implementierung einer konfigurationsbasierten Zugriffskontrolle.

Llama-swap is a local inference orchestrator and API gateway for large language models. It functions as an OpenAI API proxy that manages the lifecycle of multiple local model servers, automatically starting and stopping them to swap models based on incoming request identifiers. The project distinguishes itself through dynamic model swapping and hardware optimization. It utilizes a specialized matrix-based concurrency control to define which models can run simultaneously and employs cost-based eviction to remove inactive servers from memory based on relative resource costs. The system provide

Crow is a C++ web framework for building HTTP servers, providing routing, a middleware pipeline, JSON serialization, and WebSocket support. It enables developers to define typed route handlers that extract URL parameters at compile time, return structured JSON responses, and manage real-time bidirectional communication. The framework distinguishes itself with compile-time route pattern parsing and typed argument binding, which eliminate runtime parsing overhead for URL parameters. Its event loop runs on Boost.Asio, and handler execution can be offloaded to a configurable thread pool to keep I

Dieses Projekt ist ein Account-Managementsystem für Large Language Models und ein Multi-User-Proxy. Es bietet ein Gateway, das es mehreren authentifizierten Benutzern ermöglicht, ein einziges Premium-KI-Abonnement oder einen OpenAI-API-Key zu teilen. Das System fungiert als Proxy-Schicht, die Client-Anfragen abfängt und an die offizielle API weiterleitet, während geteilte Anmeldedaten injiziert werden. Es enthält ein sicheres Backend für zentralisiertes Credential-Management und ein tokenbasiertes Zugriffskontrollsystem zur Validierung von Benutzeridentitäten. Um Privatsphäre und Organisation zu wahren, implementiert das Projekt sitzungsbasierte Kontextisolierung, um Konversationslecks zwischen Benutzern zu verhindern. Es verfügt zudem über Middleware für Aktivitäts-Auditing, um die Nutzung zu verfolgen und das Verhalten einzelner Benutzer zu überwachen. Das Interface bietet Zugriff auf fortgeschrittene Modellfunktionen, einschließlich Bildgenerierung, Dateianalyse und Codeausführung.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

KoboldAI-Client ist eine webbasierte Oberfläche und ein Toolkit für die Interaktion mit Large Language Models. Es fungiert als lokaler KI-Textgenerator für Storytelling und konversationelle KI und bietet ein Frontend für Modelle, die entweder auf lokaler Hardware oder in Cloud-Umgebungen gehostet werden. Das System umfasst einen Persona-Manager, der externe Module und Soft-Prompting nutzt, um KI-Antworten auf bestimmte Charaktere und Schreibstile auszurichten. Zudem bietet es einen API-Wrapper, der eine standardisierte, OpenAI-kompatible REST-API bereitstellt, wodurch externe Anwendungen mit den gehosteten Modellen kommunizieren können. Die Plattform unterstützt verschiedene Interaktionsmodi für Schreiben, Gaming und Chatbots und enthält sandboxed Scripting zur Automatisierung der Datenverarbeitung sowie zum Filtern von Modellein- und -ausgaben. Die Bereitstellungsoptionen reichen von privater lokaler Ausführung bis hin zu containerisierten Cloud-GPU-Umgebungen.

jscamp is a full-stack web development and education project focused on mastering JavaScript, TypeScript, and AI integration. It provides a structured curriculum and interactive exercises covering language fundamentals, frontend engineering, and backend API development. The project distinguishes itself through the implementation of autonomous AI agents capable of complex task automation, such as modifying files, managing servers, and executing API calls. It includes advanced AI development tools for conversational querying, real-time code suggestions, and automated repository analysis to gene

Dev-Cpp is a comprehensive development suite that serves as a C++ integrated development environment, a cross-platform application builder, and a visual UI designer. It provides a toolchain for writing, compiling, and debugging native C++ applications on Windows, while offering a framework to create native binaries for desktop, mobile, and IoT devices from a single codebase. The project distinguishes itself by integrating an embedded SQL database engine and a REST API development platform directly into the workflow. It includes an AI-assisted coding tool that leverages large language models t

This project is a PHP-based framework designed for the automated development of standardized web services. It functions as a backend toolkit that maps internal data models to REST and GraphQL endpoints, providing built-in support for resource management, data serialization, and hypermedia-aware API operations. The framework distinguishes itself through a metadata-driven architecture that uses class-level attributes to automatically derive API schemas, validation rules, and documentation. By analyzing these definitions at runtime, it generates machine-readable specifications and interactive in