Awesome GitHub RepositoriesServer-Side REST API Frameworks

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

This project is a full-stack project management web application designed for organizing work and managing project workflows. It consists of a Node.js TypeScript REST API for server-side business logic and a React component UI library for the frontend interface. The application implements a board-based task visualization system with customizable status workflows. It provides mechanisms for issue workflow management, including task prioritization and team member assignment to track responsibilities and progress. The system is built with a decoupled client-server architecture using full-stack T

WildfireChat’s im-server is an open-source instant messaging backend that handles message routing, user management, and group chat for private deployments. It provides a self-hosted messaging platform that can run on private infrastructure without third-party cloud dependencies, supporting enterprise messaging with group management, user directories, and external system integration. The server synchronizes messages and state across mobile, desktop, web, and mini-program clients simultaneously, and supports real-time audio/video calls with group conferencing and live streaming. It includes enc

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

Aim is an open-source platform for logging, visualizing, and comparing machine learning training runs and LLM traces. It provides a remote tracking server and a comparison UI, functioning as an ML experiment tracker, AI workflow logger, and LLM trace recorder that captures prompts, generations, and tool calls from AI applications. The platform distinguishes itself through a run-based data model with local SQLite storage, real-time metric streaming, and a plugin-based explorer system that supports specialized visual analysis of metrics, images, audio, and text. It offers a Python SDK with cont

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

LiteRT-LM is a high-performance inference framework designed to execute large language models locally on mobile, desktop, and IoT hardware. It serves as an on-device model runtime that utilizes CPU, GPU, and NPU acceleration to provide low-latency processing. The framework is distinguished by its ability to process text, vision, and audio inputs through a single multi-modal inference engine. It features a local HTTP server that emulates OpenAI-compatible API endpoints and a WebGPU-based runtime for executing models directly within a web browser. To ensure output reliability, it includes a con

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

LoopBack Next एक Node.js API फ़्रेमवर्क है जिसका उपयोग REST और मल्टी-प्रोटोकॉल APIs बनाने के लिए किया जाता है। यह एक OpenAPI सर्वर कार्यान्वयन के रूप में कार्य करता है जो या तो कोड से मशीन-पठनीय विनिर्देश (specifications) उत्पन्न कर सकता है या मौजूदा विनिर्देशों से कार्यान्वयन कंट्रोलर्स और मॉडल्स तैयार कर सकता है। यह फ़्रेमवर्क अपने सेंट्रल डिपेंडेंसी इंजेक्शन कंटेनर और रिपॉजिटरी-पैटर्न डेटा एक्सेस लेयर के माध्यम से खुद को अलग बनाता है। यह आर्किटेक्चर एप्लिकेशन लॉजिक को कंपोनेंट निर्माण और स्थायी स्टोरेज से अलग करता है, जिससे एक प्लगेबल सिस्टम बनता है जहाँ डेटा सोर्स और बिज़नेस लॉजिक को एक मानकीकृत कनेक्टर सिस्टम के माध्यम से अलग किया जाता है। यह प्रोजेक्ट प्लगेबल ऑथेंटिकेशन रणनीतियों के साथ रोल-आधारित एक्सेस कंट्रोल और बाहरी REST व SOAP सेवाओं के ऑर्केस्ट्रेशन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह WebSocket एंडपॉइंट्स के माध्यम से रीयल-टाइम संचार, JSON स्कीमा वैलिडेशन और कमांड-लाइन इंटरफ़ेस के माध्यम से स्वचालित प्रोजेक्ट स्कैफ़ोल्डिंग के लिए टूल्स भी प्रदान करता है। डेवलपमेंट को एप्लिकेशन बूटस्ट्रैप करने, API कंपोनेंट्स उत्पन्न करने और प्रोजेक्ट डिपेंडेंसीज़ को मैनेज करने के लिए CLI टूल्स के एक सेट द्वारा सपोर्ट किया जाता है।

codeigniter-restserver एक REST API फ्रेमवर्क और कंट्रोलर लाइब्रेरी है जिसका उपयोग CodeIgniter PHP एनवायरनमेंट के भीतर RESTful सर्वर बनाने के लिए किया जाता है। यह एक बैकएंड इम्प्लीमेंटेशन के रूप में कार्य करता है जो संरचित एंडपॉइंट्स के माध्यम से डेटा और कार्यक्षमता को उजागर करने के लिए मानक HTTP मेथड्स को हैंडल करता है। इस प्रोजेक्ट में एक कस्टमाइज़ेबल रिस्पॉन्स इंजन शामिल है जो कस्टम फॉर्मेटिंग मेथड्स के माध्यम से आउटपुट डेटा को विभिन्न विशिष्ट फॉर्मेट्स में बदलने की अनुमति देता है। यह लाइब्रेरी आने वाले HTTP रिक्वेस्ट्स को कंट्रोलर मेथड्स से मैप करने, रिसोर्स रिस्पॉन्स को मैनेज करने और कॉन्फ़िगरेशन-आधारित एक्सेस कंट्रोल को लागू करने के लिए टूल्स प्रदान करती है।

Llama-swap is a local inference orchestrator and API gateway for large language models. It functions as an OpenAI API proxy that manages the lifecycle of multiple local model servers, automatically starting and stopping them to swap models based on incoming request identifiers. The project distinguishes itself through dynamic model swapping and hardware optimization. It utilizes a specialized matrix-based concurrency control to define which models can run simultaneously and employs cost-based eviction to remove inactive servers from memory based on relative resource costs. The system provide

Crow is a C++ web framework for building HTTP servers, providing routing, a middleware pipeline, JSON serialization, and WebSocket support. It enables developers to define typed route handlers that extract URL parameters at compile time, return structured JSON responses, and manage real-time bidirectional communication. The framework distinguishes itself with compile-time route pattern parsing and typed argument binding, which eliminate runtime parsing overhead for URL parameters. Its event loop runs on Boost.Asio, and handler execution can be offloaded to a configurable thread pool to keep I

यह प्रोजेक्ट एक लार्ज लैंग्वेज मॉडल अकाउंट मैनेजमेंट सिस्टम और मल्टी-यूज़र प्रॉक्सी है। यह एक गेटवे प्रदान करता है जो कई प्रमाणित यूज़र्स को एक प्रीमियम AI सब्सक्रिप्शन या OpenAI API कुंजी साझा करने की अनुमति देता है। यह सिस्टम एक प्रॉक्सी लेयर के रूप में कार्य करता है जो क्लाइंट अनुरोधों को इंटरसेप्ट करता है और साझा क्रेडेंशियल्स को इंजेक्ट करते समय उन्हें आधिकारिक API को अग्रेषित करता है। इसमें केंद्रीकृत क्रेडेंशियल मैनेजमेंट के लिए एक सुरक्षित बैकएंड और यूज़र पहचान को सत्यापित करने के लिए एक टोकन-आधारित एक्सेस कंट्रोल सिस्टम शामिल है। गोपनीयता और संगठन बनाए रखने के लिए, यह प्रोजेक्ट यूज़र्स के बीच बातचीत के रिसाव को रोकने के लिए सेशन-आधारित संदर्भ अलगाव (context isolation) को लागू करता है। इसमें उपयोग को ट्रैक करने और व्यक्तिगत यूज़र व्यवहार की निगरानी करने के लिए गतिविधि ऑडिटिंग के लिए मिडलवेयर भी शामिल है। यह इंटरफ़ेस इमेज जनरेशन, फ़ाइल विश्लेषण और कोड एक्जीक्यूशन सहित उन्नत मॉडल क्षमताओं तक पहुँच प्रदान करता है।

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

KoboldAI-Client बड़े भाषा मॉडल के साथ बातचीत करने के लिए एक वेब-आधारित इंटरफ़ेस और टूलकिट है। यह कहानी कहने और संवादात्मक AI के लिए एक स्थानीय AI टेक्स्ट जनरेटर के रूप में कार्य करता है, जो स्थानीय हार्डवेयर या क्लाउड-प्रोविज़न्ड वातावरण पर होस्ट किए गए मॉडलों के लिए एक फ्रंट एंड प्रदान करता है। सिस्टम में एक पर्सोना मैनेजर शामिल है जो AI प्रतिक्रियाओं को विशिष्ट पात्रों और लेखन शैलियों की ओर निर्देशित करने के लिए बाहरी मॉड्यूल्स और सॉफ्ट-प्रॉम्प्टिंग का उपयोग करता है। यह एक API रैपर भी प्रदान करता है जो एक मानकीकृत, OpenAI-संगत REST API को एक्सपोज़ करता है, जिससे बाहरी एप्लिकेशन होस्ट किए गए मॉडलों के साथ संवाद कर सकते हैं। प्लेटफ़ॉर्म लेखन, गेमिंग और चैटबॉट्स के लिए विभिन्न इंटरैक्शन मोड का समर्थन करता है, और डेटा प्रोसेसिंग को स्वचालित करने और मॉडल इनपुट और आउटपुट को फ़िल्टर करने के लिए सैंडबॉक्स्ड स्क्रिप्टिंग शामिल करता है। परिनियोजन विकल्प निजी स्थानीय निष्पादन से लेकर कंटेनरीकृत क्लाउड GPU वातावरण तक हैं।

jscamp is a full-stack web development and education project focused on mastering JavaScript, TypeScript, and AI integration. It provides a structured curriculum and interactive exercises covering language fundamentals, frontend engineering, and backend API development. The project distinguishes itself through the implementation of autonomous AI agents capable of complex task automation, such as modifying files, managing servers, and executing API calls. It includes advanced AI development tools for conversational querying, real-time code suggestions, and automated repository analysis to gene

Dev-Cpp is a comprehensive development suite that serves as a C++ integrated development environment, a cross-platform application builder, and a visual UI designer. It provides a toolchain for writing, compiling, and debugging native C++ applications on Windows, while offering a framework to create native binaries for desktop, mobile, and IoT devices from a single codebase. The project distinguishes itself by integrating an embedded SQL database engine and a REST API development platform directly into the workflow. It includes an AI-assisted coding tool that leverages large language models t

This project is a PHP-based framework designed for the automated development of standardized web services. It functions as a backend toolkit that maps internal data models to REST and GraphQL endpoints, providing built-in support for resource management, data serialization, and hypermedia-aware API operations. The framework distinguishes itself through a metadata-driven architecture that uses class-level attributes to automatically derive API schemas, validation rules, and documentation. By analyzing these definitions at runtime, it generates machine-readable specifications and interactive in

This project provides a unified server environment and gateway for hosting and executing open-source large language models on private infrastructure. It functions as a standardized interface that exposes locally deployed models through widely-adopted API protocols, allowing existing applications to interact with them without requiring code modifications. The platform distinguishes itself by acting as a compatibility layer that translates standard REST requests into model-specific execution calls. It supports advanced interaction patterns including real-time token streaming, function calling f