1 Repo
Awesome GitHub RepositoriesProgrammatic Workflow Logic
Implementation of predictable business logic via code to control AI execution, security, and token costs.
Distinct from Programmatic Termination Logic: Distinct from AI-generated logic; this is developer-written code used to constrain and secure AI prompts
Explore 1 awesome GitHub repository matching software engineering & architecture · Programmatic Workflow Logic. Refine with filters or upvote what's useful.
Awesome Programmatic Workflow Logic GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- eth-sri/lmql
eth-sri/lmql
4,185Auf GitHub ansehenLMQL ist eine Programmiersprache und probabilistische Schnittstelle, die algorithmische Logik mit stochastischer Textgenerierung verbindet. Sie fungiert als Framework für constraint-gesteuertes Prompting und als Generator für strukturierte Ausgaben, der es Benutzern ermöglicht, Modellantworten zur Einhaltung strikter Formatierungen und Datentypen zu zwingen. Das System zeichnet sich als Inferenz-Optimierer aus, der den Token-Durchsatz erhöht und die Latenz reduziert. Dies wird durch spezialisierte Ausführungsstrategien erreicht, einschließlich baumbasiertem Prompt-Caching und asynchroner Batch-Verarbeitung. Das Projekt deckt ein breites Spektrum an Funktionen zur Generierungssteuerung ab, wie logit-basiertes Token-Masking, Beam-Search-Selektion und verschachtelte Logik-Prompt-Ausführung. Es bietet zudem Infrastruktur für Echtzeit-Antwort-Streaming mittels WebSockets und Server-Sent Events.
Combines developer-written programmatic flow with LLM queries to control the reasoning and structure of generated output.
Python
