1 repository
Awesome GitHub RepositoriesProgrammatic Workflow Logic
Implementation of predictable business logic via code to control AI execution, security, and token costs.
Distinct from Programmatic Termination Logic: Distinct from AI-generated logic; this is developer-written code used to constrain and secure AI prompts
Explore 1 awesome GitHub repository matching software engineering & architecture · Programmatic Workflow Logic. Refine with filters or upvote what's useful.
Awesome Programmatic Workflow Logic GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- eth-sri/lmql
eth-sri/lmql
4,185Vezi pe GitHubLMQL este un limbaj de programare și o interfață probabilistică care îmbină logica algoritmică cu generarea stochastică de text. Funcționează ca un framework de prompting ghidat de constrângeri și un generator de output structurat, permițând utilizatorilor să forțeze răspunsurile modelului să adere la formatări și tipuri de date stricte. Sistemul se distinge ca un optimizator de inferență care crește throughput-ul de token-uri și reduce latența. Acest lucru este realizat prin strategii de execuție specializate, inclusiv caching-ul de prompt-uri bazat pe arbori și procesarea asincronă în loturi. Proiectul acoperă o gamă largă de capabilități de control al generării, cum ar fi mascarea token-urilor bazată pe logit, selecția beam-search și execuția intercalată logică-prompt. De asemenea, oferă infrastructură pentru streaming-ul răspunsurilor în timp real prin WebSockets și evenimente trimise de server (server-sent events).
Combines developer-written programmatic flow with LLM queries to control the reasoning and structure of generated output.
Python
