Awesome GitHub Repositoriesllama.cpp Backend Runners

The simplest way to run LLaMA on your local machine

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

This is an open-source Python SDK for building and orchestrating production-grade AI agents. It provides a unified framework for creating conversational agents that can use tools, maintain state, and coordinate across multiple language model providers including OpenAI, Anthropic, Google, Amazon Bedrock, and locally-hosted models. The SDK supports multi-agent orchestration through graphs, teams, and swarms, allowing several specialized agents to collaborate on complex tasks. Agents can be composed as callable tools that other agents invoke, and the framework includes policy handlers that inspe

Serge is a self-hosted web chat interface for running large language models locally using the llama.cpp inference engine. It loads GGUF-format model files directly on your own machine, removing the need for internet connectivity or external API keys, and streams responses to the browser in real time via WebSocket connections. The project is packaged for containerized deployment using Docker and Docker Compose, with a Traefik reverse proxy that handles HTTP and WebSocket routing along with automatic TLS certificate management. Ready-made Kubernetes manifests are also provided, enabling deploym

A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.

Llama-swap es un orquestador de inferencia local y puerta de enlace API para modelos de lenguaje de gran tamaño. Funciona como un proxy de la API de OpenAI que gestiona el ciclo de vida de múltiples servidores de modelos locales, iniciándolos y deteniéndolos automáticamente para intercambiar modelos según los identificadores de las solicitudes entrantes. El proyecto destaca por su intercambio dinámico de modelos y optimización de hardware. Utiliza un control de concurrencia basado en matrices para definir qué modelos pueden ejecutarse simultáneamente y emplea una política de desalojo basada en costes para eliminar servidores inactivos de la memoria según los costes relativos de los recursos. El sistema proporciona una gestión integral de modelos, incluyendo alias de identificadores, filtrado de solicitudes y la ejecución de comandos de ciclo de vida para contenedores o máquinas virtuales. También incluye herramientas de observabilidad como un entorno de pruebas visual para modelos, monitorización del rendimiento del sistema en tiempo real y funciones de seguridad como verificación de claves API y cifrado TLS. Las actualizaciones de configuración se gestionan mediante recarga dinámica, que monitoriza el sistema de archivos en busca de cambios sin necesidad de reiniciar manualmente.

SakuraLLM is a multi-format document translation system that hosts large language models for translating Japanese text into other languages. It functions as an inference server that exposes translation models through an OpenAI-compatible API, allowing any tool supporting the OpenAI client format to send translation requests. The system is designed as a glossary-aware translation engine that applies user-defined term dictionaries to ensure consistent translation of proper nouns and names across outputs. The project distinguishes itself by supporting multiple high-performance inference backends

llama-dl es una herramienta de línea de comandos diseñada para la descarga de alta velocidad de pesos de modelos de lenguaje (LLM) mediante peticiones HTTP. Funciona como una utilidad especializada para obtener pesos de machine learning de varios gigabytes desde servidores remotos. La herramienta permite la adquisición de archivos de modelos Llama sin necesidad de clientes de intercambio de archivos externos o protocolos torrent. Se centra en la transferencia eficiente de pesos masivos de modelos para preparar entornos locales para el despliegue de modelos de lenguaje. La implementación utiliza descargas segmentadas, programación de peticiones concurrentes y mapeo de archivos basado en metadatos para gestionar la adquisición de datos. Asegura la integridad de los datos mediante validación de archivos basada en checksums y emplea streaming de datos fragmentados para escribir segmentos de archivos en el disco.