Awesome GitHub RepositoriesCode Execution Runtimes

gpt-oss is an open-weight large language model and reasoning engine designed for complex reasoning and agentic workflows. It functions as an AI agent framework and model serving API, allowing for local deployment and the hosting of standardized interfaces to expose model completions and internal reasoning processes. The project distinguishes itself as a quantized inference engine, utilizing tensor parallelism and weight quantization to run high-parameter models on limited hardware. It features a reasoning model that employs chain-of-thought processing to solve multi-step logical tasks. The s

OpenSandbox is a secure sandbox runtime and containerized code execution engine designed to run AI-generated code and scripts in isolated environments. It serves as a workload orchestrator that prevents host system contamination by utilizing kernel-level isolation to execute arbitrary commands and scripts. The project distinguishes itself by providing a model context server that bridges large language models to the sandbox for performing file operations and system commands. It also includes a remote GUI sandbox that supports browser automation and desktop interfaces via remote access protocol

OptiLLM ist ein Framework für KI-Reasoning und -Optimierung, das als API-Proxy fungiert, um die Antwortqualität von Large Language Models zu verbessern. Es fängt Anfragen ab, um während der Inferenz Reasoning-Logik anzuwenden und die Ausgabe zu verfeinern, bevor die Ergebnisse an den Client zurückgegeben werden. Das Projekt zeichnet sich durch eine Kombination aus Inferenz-Suchbäumen zur logischen Verifizierung und einer Anonymisierungs-Pipeline aus, die personenbezogene Daten aus Prompts entfernt. Zudem erweitert es die Modellfähigkeiten durch die Orchestrierung externer Tools, einschließlich Echtzeit-Codeausführung und autonomer Web-Recherche. Das System bietet eine umfassende Infrastruktur für das Modellmanagement, einschließlich Load Balancing über mehrere Anbieter hinweg sowie die Möglichkeit, lokale Modelle und Adapter bereitzustellen. Es erzwingt strukturierte Ausgaben durch Schema-Constraints und verwaltet erweiterte Konversationsverläufe über eine virtuelle Kontext-Speicherschicht. Die Proxy-Schicht ist mit Standard-API-Endpunkten kompatibel, sodass sie ohne Änderungen am bestehenden Client-Code integriert werden kann.

This project is an infrastructure platform designed to provide secure, isolated, and ephemeral cloud-based Linux environments for AI agents and automated code execution. It functions as an orchestrator that provisions on-demand virtual machines, allowing developers to run arbitrary code generated by large language models within hardware-level security boundaries. The platform distinguishes itself through its ability to manage stateful, long-lived sessions that persist across multiple execution calls, enabling complex, multi-step workflows. It supports high-concurrency scaling, allowing for th