Awesome GitHub RepositoriesCode Execution Runtimes

gpt-oss is an open-weight large language model and reasoning engine designed for complex reasoning and agentic workflows. It functions as an AI agent framework and model serving API, allowing for local deployment and the hosting of standardized interfaces to expose model completions and internal reasoning processes. The project distinguishes itself as a quantized inference engine, utilizing tensor parallelism and weight quantization to run high-parameter models on limited hardware. It features a reasoning model that employs chain-of-thought processing to solve multi-step logical tasks. The s

OpenSandbox is a secure sandbox runtime and containerized code execution engine designed to run AI-generated code and scripts in isolated environments. It serves as a workload orchestrator that prevents host system contamination by utilizing kernel-level isolation to execute arbitrary commands and scripts. The project distinguishes itself by providing a model context server that bridges large language models to the sandbox for performing file operations and system commands. It also includes a remote GUI sandbox that supports browser automation and desktop interfaces via remote access protocol

OptiLLM este un framework de raționament și optimizare AI care funcționează ca un proxy API pentru a îmbunătăți calitatea răspunsurilor modelelor de limbaj mari (LLM). Acesta interceptează cererile pentru a aplica logică de raționament în timpul inferenței și rafinarea output-ului înainte de a returna rezultatele către client. Proiectul se distinge printr-o combinație de arbori de căutare în timpul inferenței pentru verificare logică și un pipeline de anonimizare care elimină informațiile de identificare personală din prompturi. De asemenea, extinde capabilitățile modelului prin orchestrarea unor instrumente externe, inclusiv execuția de cod în timp real și cercetarea web autonomă. Sistemul oferă o infrastructură extinsă pentru gestionarea modelelor, incluzând echilibrarea sarcinii între mai mulți furnizori și capacitatea de a servi modele și adaptoare locale. De asemenea, gestionează impunerea output-ului structurat prin constrângeri de schemă și gestionează istoricul conversațiilor extinse printr-un strat de memorie virtuală de context. Stratul proxy este conceput pentru a fi compatibil cu endpoint-urile API standard, permițând integrarea fără a modifica codul client existent.

This project is an infrastructure platform designed to provide secure, isolated, and ephemeral cloud-based Linux environments for AI agents and automated code execution. It functions as an orchestrator that provisions on-demand virtual machines, allowing developers to run arbitrary code generated by large language models within hardware-level security boundaries. The platform distinguishes itself through its ability to manage stateful, long-lived sessions that persist across multiple execution calls, enabling complex, multi-step workflows. It supports high-concurrency scaling, allowing for th