noamgat/lm-format-enforcer
Lm Format Enforcer
Această bibliotecă oferă un framework pentru impunerea constrângerilor structurale asupra output-ului modelelor de limbaj în timpul procesului de generare a token-urilor. Funcționează ca un middleware care restricționează răspunsurile modelului pentru a adera strict la scheme JSON predefinite sau la tipare de expresii regulate, asigurându-se că textul generat este lizibil pentru mașină și consistent pentru consumul ulterior de date.
Proiectul se distinge prin integrarea directă cu motoarele de inferență pentru a intercepta distribuțiile de probabilitate ale token-urilor înainte de etapa finală de eșantionare. Prin utilizarea parsării cu mașini de stare și descompunerea recursivă a schemelor, efectuează validarea lookahead pentru a elimina secvențele de token-uri invalide. Această abordare permite un control precis asupra output-ului, inclusiv impunerea unei ordini specifice a câmpurilor în obiectele JSON și capacitatea de a gestiona mai multe fluxuri de generare concurente prin execuția constrângerilor în loturi (batched).
Biblioteca suportă o gamă largă de strategii de integrare, permițându-i să funcționeze pe diverse backend-uri de modele și medii de server de inferență. Include instrumente de diagnosticare pentru analizarea impactului acestor constrângeri asupra performanței, asigurând compatibilitatea și eficiența pe diferite configurații hardware. Software-ul este distribuit ca un pachet Python conceput pentru integrarea în pipeline-urile de inferență existente.
Features
- Structured Output Generators - Ensures language models produce text that strictly follows predefined JSON schemas or regular expression patterns.
- Output Constraint Engines - Restricts token generation during inference to ensure adherence to JSON schemas or regular expression patterns.
- Inference Middleware - Provides a standardized middleware layer to intercept and modify token probability distributions across diverse model backends.
- Output Constraint Engines - Enforces strict JSON schema adherence during token generation by intercepting probability distributions to prune invalid sequences.
- Schema Enforcement Tools - Validates and forces language model outputs to adhere to specific data structures during inference.
- Logit Masks - Filters model vocabulary at each generation step by masking tokens that violate structural constraints.
- LLM Output Constraints - Restricts language model token generation to strictly follow defined JSON schemas and regular expression patterns.
- Generation State Machines - Maintains a deterministic state machine to track schema positions and validate next-token candidates.
- Data Extraction Pipelines - Builds robust workflows for generating machine-readable data from language models.
- Regex Constraint Engines - Provides regex-based token masking to ensure generated text matches specific patterns for downstream data consumption.
- LLM Inference Engines - Connects output enforcement logic to various model execution backends.
- Batch Generation - Applies independent token constraints to multiple concurrent inputs during a single generation process.
- Regex-Based Output Filters - Limits language model output to match precise regular expression patterns for predictable data consumption.
- Parser Combinators - Merges distinct parsing logic into a unified workflow to process complex data structures.
- Generation Lookaheads - Prunes invalid token sequences by simulating potential future outputs to ensure structural compliance.
- Inference Engine Integrations - Provides a framework for applying structural output constraints across various model backends.
- Schema Decomposition - Decomposes complex data structures into manageable parsing rules evaluated incrementally during generation.
- Generation Stream Batching - Enables efficient handling of multiple concurrent generation streams by maintaining separate parser states for each request.
