Awesome GitHub RepositoriesAI-Generated Fixes

SWE-bench es un benchmark de ingeniería de software y framework de evaluación diseñado para medir la capacidad de los modelos de lenguaje grandes para resolver problemas reales de GitHub. Proporciona conjuntos de datos y suites de evaluación para verificar si los parches de código generados por modelos corrigen correctamente los errores de software. El proyecto incluye un benchmark multimodal para probar modelos de lenguaje visual en problemas que involucran interfaces gráficas. Utiliza una colección de problemas de repositorios preprocesados y parches de referencia (gold-standard) para entrenar y probar agentes de codificación de IA. El framework proporciona infraestructura para la verificación de parches contenedorizados y entornos de ejecución reproducibles para asegurar pruebas consistentes en diferentes sistemas. Cubre la ejecución automatizada de casos de prueba, verificación de predicción de parches y la generación de conjuntos de datos de aprendizaje supervisado a partir de reportes de errores del mundo real.