Awesome GitHub Repositoriesllama.cpp Backend Runners

The simplest way to run LLaMA on your local machine

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

This is an open-source Python SDK for building and orchestrating production-grade AI agents. It provides a unified framework for creating conversational agents that can use tools, maintain state, and coordinate across multiple language model providers including OpenAI, Anthropic, Google, Amazon Bedrock, and locally-hosted models. The SDK supports multi-agent orchestration through graphs, teams, and swarms, allowing several specialized agents to collaborate on complex tasks. Agents can be composed as callable tools that other agents invoke, and the framework includes policy handlers that inspe

Serge is a self-hosted web chat interface for running large language models locally using the llama.cpp inference engine. It loads GGUF-format model files directly on your own machine, removing the need for internet connectivity or external API keys, and streams responses to the browser in real time via WebSocket connections. The project is packaged for containerized deployment using Docker and Docker Compose, with a Traefik reverse proxy that handles HTTP and WebSocket routing along with automatic TLS certificate management. Ready-made Kubernetes manifests are also provided, enabling deploym

A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.

Llama-swap est un orchestrateur d'inférence locale et une passerelle API pour les grands modèles de langage (LLM). Il fonctionne comme un proxy API OpenAI qui gère le cycle de vie de plusieurs serveurs de modèles locaux, les démarrant et les arrêtant automatiquement pour basculer entre les modèles en fonction des identifiants de requête entrants. Le projet se distingue par son basculement dynamique de modèles et son optimisation matérielle. Il utilise un contrôle de concurrence spécialisé basé sur des matrices pour définir quels modèles peuvent s'exécuter simultanément et emploie une éviction basée sur les coûts pour supprimer les serveurs inactifs de la mémoire en fonction des ressources consommées. Le système fournit une gestion complète des modèles, incluant l'aliasing d'identifiants, le filtrage de requêtes et l'exécution de commandes de cycle de vie pour les conteneurs ou machines virtuelles. Il inclut également des outils d'observabilité tels qu'un playground de test visuel, une surveillance des performances système en temps réel et des fonctionnalités de sécurité comme la vérification de clés API et le chiffrement TLS. Les mises à jour de configuration sont gérées via un rechargement dynamique qui surveille les changements sur le système de fichiers sans nécessiter de redémarrage manuel.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

llama-dl est un outil en ligne de commande conçu pour la récupération à haute vitesse des poids de modèles de langage (LLM) via des requêtes HTTP. Il fonctionne comme un utilitaire spécialisé pour récupérer des poids de machine learning de plusieurs gigaoctets depuis des serveurs distants. L'outil permet l'acquisition de fichiers de modèles Llama sans avoir besoin de clients de partage de fichiers externes ou de protocoles torrent. Il se concentre sur le transfert efficace de poids de modèles massifs pour préparer les environnements locaux au déploiement de grands modèles de langage. L'implémentation utilise le téléchargement segmenté, la planification de requêtes concurrentes et le mappage de fichiers basé sur les métadonnées pour gérer l'acquisition des données. Il assure l'intégrité des données grâce à une validation par checksum et emploie le streaming de données par blocs pour écrire les segments de fichiers sur le disque.