1 repositorio
Implementation of predictable business logic via code to control AI execution, security, and token costs.
Distinct from Programmatic Termination Logic: Distinct from AI-generated logic; this is developer-written code used to constrain and secure AI prompts
Explore 1 awesome GitHub repository matching software engineering & architecture · Programmatic Workflow Logic. Refine with filters or upvote what's useful.
LMQL es un lenguaje de programación e interfaz probabilística que combina lógica algorítmica con generación de texto estocástico. Funciona como un framework de prompting guiado por restricciones y generador de salida estructurada, permitiendo a los usuarios forzar a las respuestas del modelo a adherirse a formatos y tipos de datos estrictos. El sistema se distingue como un optimizador de inferencia que aumenta el rendimiento de tokens y reduce la latencia. Esto se logra a través de estrategias de ejecución especializadas, incluyendo el almacenamiento en caché de prompts basado en árboles y el procesamiento por lotes asíncrono. El proyecto cubre una amplia gama de capacidades de control de generación, como el enmascaramiento de tokens basado en logit, la selección de búsqueda por haz (beam-search) y la ejecución de lógica-prompt entrelazada. También proporciona infraestructura para la transmisión de respuestas en tiempo real a través de WebSockets y eventos enviados por el servidor.
Combines developer-written programmatic flow with LLM queries to control the reasoning and structure of generated output.