Awesome GitHub RepositoriesGeneration Stream Batching

Esta librería proporciona un framework para imponer restricciones estructurales en la salida de modelos de lenguaje durante el proceso de generación de tokens. Funciona como middleware que restringe las respuestas del modelo para que se adhieran estrictamente a esquemas JSON predefinidos o patrones de expresiones regulares, asegurando que el texto generado sea legible por máquina y consistente para el consumo de datos posterior. El proyecto se distingue por integrarse directamente con motores de inferencia para interceptar las distribuciones de probabilidad de tokens antes de la etapa final de muestreo. Al utilizar parsing de máquinas de estado y descomposición recursiva de esquemas, realiza validación de búsqueda anticipada (lookahead) para podar secuencias de tokens inválidas. Este enfoque permite un control preciso sobre la salida, incluyendo la imposición de un orden de campos específico dentro de objetos JSON y la capacidad de manejar múltiples flujos de generación concurrentes mediante la ejecución de restricciones por lotes. La librería soporta una amplia gama de estrategias de integración, permitiéndole funcionar a través de diversos backends de modelos y entornos de servidores de inferencia. Incluye herramientas de diagnóstico para analizar el impacto en el rendimiento de estas restricciones, asegurando compatibilidad y eficiencia en diferentes configuraciones de hardware. El software se distribuye como un paquete de Python diseñado para la integración en pipelines de inferencia existentes.