Awesome GitHub RepositoriesInference Optimization

LocalAI is a self-hosted inference server that enables the execution of machine learning models directly on local hardware. By providing a unified interface for text, image, and audio processing, it allows users to maintain full control over data privacy and infrastructure costs while eliminating dependencies on external network services. The platform functions as an API gateway that mimics standard cloud-based artificial intelligence interfaces, allowing existing applications to integrate local models as drop-in replacements. It utilizes a container-based architecture to package runtimes and

OptiLLM is an inference proxy and gateway router that directs prompts to specific language models based on cost, performance, and provider health. It functions as a middleware layer designed to optimize requests through intelligent routing, load balancing, and context management. The project provides specialized capabilities for data protection by anonymizing personally identifiable information before requests reach a model. It also acts as a reasoning orchestrator and tool integration layer, using inference-time loops and self-reflection to improve accuracy while connecting models to externa

OptiLLM ist ein Framework für KI-Reasoning und -Optimierung, das als API-Proxy fungiert, um die Antwortqualität von Large Language Models zu verbessern. Es fängt Anfragen ab, um während der Inferenz Reasoning-Logik anzuwenden und die Ausgabe zu verfeinern, bevor die Ergebnisse an den Client zurückgegeben werden. Das Projekt zeichnet sich durch eine Kombination aus Inferenz-Suchbäumen zur logischen Verifizierung und einer Anonymisierungs-Pipeline aus, die personenbezogene Daten aus Prompts entfernt. Zudem erweitert es die Modellfähigkeiten durch die Orchestrierung externer Tools, einschließlich Echtzeit-Codeausführung und autonomer Web-Recherche. Das System bietet eine umfassende Infrastruktur für das Modellmanagement, einschließlich Load Balancing über mehrere Anbieter hinweg sowie die Möglichkeit, lokale Modelle und Adapter bereitzustellen. Es erzwingt strukturierte Ausgaben durch Schema-Constraints und verwaltet erweiterte Konversationsverläufe über eine virtuelle Kontext-Speicherschicht. Die Proxy-Schicht ist mit Standard-API-Endpunkten kompatibel, sodass sie ohne Änderungen am bestehenden Client-Code integriert werden kann.