Awesome GitHub RepositoriesServer-Side REST API Frameworks

ds4 is a local inference engine for DeepSeek models that includes a distributed runtime for splitting transformer layers across networked computers. It functions as a reasoning controller with a local weight streamer and an API server that streams chat completions via industry standard endpoints. The system employs a memory management model that loads model experts from disk on demand to execute models that exceed available system RAM. It provides controls for reasoning effort and model behavior steering, allowing the modification of response characteristics through activation directions. Th

This project is a full-stack project management web application designed for organizing work and managing project workflows. It consists of a Node.js TypeScript REST API for server-side business logic and a React component UI library for the frontend interface. The application implements a board-based task visualization system with customizable status workflows. It provides mechanisms for issue workflow management, including task prioritization and team member assignment to track responsibilities and progress. The system is built with a decoupled client-server architecture using full-stack T

WildfireChat’s im-server is an open-source instant messaging backend that handles message routing, user management, and group chat for private deployments. It provides a self-hosted messaging platform that can run on private infrastructure without third-party cloud dependencies, supporting enterprise messaging with group management, user directories, and external system integration. The server synchronizes messages and state across mobile, desktop, web, and mini-program clients simultaneously, and supports real-time audio/video calls with group conferencing and live streaming. It includes enc

gpt4free-ts is a TypeScript-based LLM API proxy and gateway that provides a unified interface for accessing large language models without paid subscriptions or official API keys. It functions as a containerized AI bridge that routes requests to various free third-party providers to retrieve chat completions. The project acts as an OpenAI API wrapper, translating requests and responses into the standard OpenAI chat completions format to ensure compatibility with existing AI tools. It utilizes a provider-based routing system to distribute request loads across available endpoints. The gateway s

Aim is an open-source platform for logging, visualizing, and comparing machine learning training runs and LLM traces. It provides a remote tracking server and a comparison UI, functioning as an ML experiment tracker, AI workflow logger, and LLM trace recorder that captures prompts, generations, and tool calls from AI applications. The platform distinguishes itself through a run-based data model with local SQLite storage, real-time metric streaming, and a plugin-based explorer system that supports specialized visual analysis of metrics, images, audio, and text. It offers a Python SDK with cont

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

LiteRT-LM est un framework d'inférence haute performance conçu pour exécuter des grands modèles de langage localement sur du matériel mobile, desktop et IoT. Il sert de runtime de modèle sur appareil qui utilise l'accélération CPU, GPU et NPU pour fournir un traitement à faible latence. Le framework se distingue par sa capacité à traiter des entrées texte, vision et audio via un moteur d'inférence multi-modal unique. Il dispose d'un serveur HTTP local qui émule des endpoints d'API compatibles avec OpenAI et un runtime basé sur WebGPU pour exécuter des modèles directement dans un navigateur web. Pour garantir la fiabilité des sorties, il inclut un générateur de texte contraint qui impose des schémas JSON ou des règles grammaticales sur les réponses du modèle. Le projet offre de larges capacités pour la gestion de conversations stateful, le décodage spéculatif pour augmenter les vitesses de génération de jetons, et une interface d'appel d'outils qui mappe les requêtes du modèle vers des fonctions externes. Il inclut également une intégration spécialisée pour l'écosystème Apple et un plugin dédié pour exécuter des modèles dans Flutter. Les utilisateurs peuvent exécuter des modèles via une interface en ligne de commande ou les intégrer dans des applications via des API natives.

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

LoopBack Next est un framework d'API Node.js utilisé pour construire des API REST et multi-protocoles. Il fonctionne comme une implémentation de serveur OpenAPI capable soit de générer des spécifications lisibles par machine à partir du code, soit de produire des contrôleurs et des modèles d'implémentation à partir de spécifications existantes. Le framework se distingue par un conteneur d'injection de dépendances central et une couche d'accès aux données basée sur le pattern repository. Cette architecture découple la logique applicative de la construction des composants et du stockage persistant, permettant un système enfichable où les sources de données et la logique métier sont isolées via un système de connecteurs standardisé. Le projet couvre un large éventail de capacités, incluant le contrôle d'accès basé sur les rôles avec des stratégies d'authentification enfichables et l'orchestration de services REST et SOAP externes. Il fournit également des outils pour la communication en temps réel via des endpoints WebSocket, la validation de schémas JSON, et l'échafaudage automatique de projets via une interface en ligne de commande. Le développement est soutenu par un ensemble d'outils CLI pour amorcer les applications, générer des composants d'API et gérer les dépendances du projet.

codeigniter-restserver est un framework d'API REST et une bibliothèque de contrôleurs pour construire des serveurs RESTful dans l'environnement PHP CodeIgniter. Il fonctionne comme une implémentation backend qui gère les méthodes HTTP standard pour exposer des données et des fonctionnalités via des endpoints structurés. Le projet inclut un moteur de réponse personnalisable qui permet la transformation des données de sortie en divers formats spécifiques via des méthodes de formatage personnalisées. La bibliothèque fournit des outils pour mapper les requêtes HTTP entrantes aux méthodes de contrôleur, gérer les réponses aux ressources et implémenter un contrôle d'accès basé sur la configuration.

Llama-swap est un orchestrateur d'inférence locale et une passerelle API pour les grands modèles de langage (LLM). Il fonctionne comme un proxy API OpenAI qui gère le cycle de vie de plusieurs serveurs de modèles locaux, les démarrant et les arrêtant automatiquement pour basculer entre les modèles en fonction des identifiants de requête entrants. Le projet se distingue par son basculement dynamique de modèles et son optimisation matérielle. Il utilise un contrôle de concurrence spécialisé basé sur des matrices pour définir quels modèles peuvent s'exécuter simultanément et emploie une éviction basée sur les coûts pour supprimer les serveurs inactifs de la mémoire en fonction des ressources consommées. Le système fournit une gestion complète des modèles, incluant l'aliasing d'identifiants, le filtrage de requêtes et l'exécution de commandes de cycle de vie pour les conteneurs ou machines virtuelles. Il inclut également des outils d'observabilité tels qu'un playground de test visuel, une surveillance des performances système en temps réel et des fonctionnalités de sécurité comme la vérification de clés API et le chiffrement TLS. Les mises à jour de configuration sont gérées via un rechargement dynamique qui surveille les changements sur le système de fichiers sans nécessiter de redémarrage manuel.

Crow is a C++ web framework for building HTTP servers, providing routing, a middleware pipeline, JSON serialization, and WebSocket support. It enables developers to define typed route handlers that extract URL parameters at compile time, return structured JSON responses, and manage real-time bidirectional communication. The framework distinguishes itself with compile-time route pattern parsing and typed argument binding, which eliminate runtime parsing overhead for URL parameters. Its event loop runs on Boost.Asio, and handler execution can be offloaded to a configurable thread pool to keep I

Ce projet est un système de gestion de compte de grands modèles de langage et un proxy multi-utilisateurs. Il fournit une passerelle qui permet à plusieurs utilisateurs authentifiés de partager un seul abonnement IA premium ou une clé API OpenAI. Le système fonctionne comme une couche de proxy qui intercepte les requêtes des clients et les transmet à l'API officielle tout en injectant des identifiants partagés. Il inclut un backend sécurisé pour la gestion centralisée des identifiants et un système de contrôle d'accès basé sur des jetons pour valider les identités des utilisateurs. Pour maintenir la confidentialité et l'organisation, le projet implémente une isolation de contexte basée sur la session pour empêcher la fuite de conversation entre les utilisateurs. Il dispose également d'un middleware pour l'audit d'activité afin de suivre l'utilisation et surveiller le comportement individuel des utilisateurs. L'interface fournit un accès aux capacités avancées des modèles, incluant la génération d'images, l'analyse de fichiers et l'exécution de code.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

KoboldAI-Client est une interface web et une boîte à outils pour interagir avec des modèles de langage de grande taille (LLM). Il fonctionne comme un générateur de texte IA local pour la narration et l'IA conversationnelle, fournissant un frontend pour les modèles hébergés soit sur du matériel local, soit dans des environnements cloud. Le système inclut un gestionnaire de personas qui utilise des modules externes et le « soft-prompting » pour guider les réponses de l'IA vers des personnages et des styles d'écriture spécifiques. Il fournit également un wrapper API qui expose une API REST standardisée compatible avec OpenAI, permettant à des applications externes de communiquer avec les modèles hébergés. La plateforme prend en charge divers modes d'interaction pour l'écriture, le jeu et les chatbots, et inclut des scripts en bac à sable pour automatiser le traitement des données et filtrer les entrées et sorties du modèle. Les options de déploiement vont de l'exécution locale privée aux environnements GPU cloud conteneurisés.

jscamp is a full-stack web development and education project focused on mastering JavaScript, TypeScript, and AI integration. It provides a structured curriculum and interactive exercises covering language fundamentals, frontend engineering, and backend API development. The project distinguishes itself through the implementation of autonomous AI agents capable of complex task automation, such as modifying files, managing servers, and executing API calls. It includes advanced AI development tools for conversational querying, real-time code suggestions, and automated repository analysis to gene

Dev-Cpp is a comprehensive development suite that serves as a C++ integrated development environment, a cross-platform application builder, and a visual UI designer. It provides a toolchain for writing, compiling, and debugging native C++ applications on Windows, while offering a framework to create native binaries for desktop, mobile, and IoT devices from a single codebase. The project distinguishes itself by integrating an embedded SQL database engine and a REST API development platform directly into the workflow. It includes an AI-assisted coding tool that leverages large language models t

This project is a PHP-based framework designed for the automated development of standardized web services. It functions as a backend toolkit that maps internal data models to REST and GraphQL endpoints, providing built-in support for resource management, data serialization, and hypermedia-aware API operations. The framework distinguishes itself through a metadata-driven architecture that uses class-level attributes to automatically derive API schemas, validation rules, and documentation. By analyzing these definitions at runtime, it generates machine-readable specifications and interactive in