1 repositorio
Awesome GitHub RepositoriesCode-Based Problem Solving Assessments
Frameworks for evaluating the ability of AI models to resolve software bugs by generating functional code patches.
Distinct from Geometric Problem Solving: Candidates are focused on human interview techniques or specific mathematical algorithms, not AI-driven software engineering evaluation.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Code-Based Problem Solving Assessments. Refine with filters or upvote what's useful.
Awesome Code-Based Problem Solving Assessments GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- princeton-nlp/swe-bench
princeton-nlp/SWE-bench
5,263Ver en GitHubSWE-bench es un benchmark de ingeniería de software y framework de evaluación diseñado para medir la capacidad de los modelos de lenguaje grandes para resolver problemas reales de GitHub. Proporciona conjuntos de datos y suites de evaluación para verificar si los parches de código generados por modelos corrigen correctamente los errores de software. El proyecto incluye un benchmark multimodal para probar modelos de lenguaje visual en problemas que involucran interfaces gráficas. Utiliza una colección de problemas de repositorios preprocesados y parches de referencia (gold-standard) para entrenar y probar agentes de codificación de IA. El framework proporciona infraestructura para la verificación de parches contenedorizados y entornos de ejecución reproducibles para asegurar pruebas consistentes en diferentes sistemas. Cubre la ejecución automatizada de casos de prueba, verificación de predicción de parches y la generación de conjuntos de datos de aprendizaje supervisado a partir de reportes de errores del mundo real.
A process to assess how language models resolve software issues by generating code patches based on a provided codebase.
Python
