2 dépôts
Awesome GitHub RepositoriesDocker-Based Patch Verification Harnesses
Containerized environments that build task-specific setups to verify generated code patches against original project test suites.
Distinct from Test Harnesses: Distinct from Test Harnesses: focuses on Docker-based isolation and patch verification for software engineering benchmarks, not general activity simulation.
Explore 2 awesome GitHub repositories matching software engineering & architecture · Docker-Based Patch Verification Harnesses. Refine with filters or upvote what's useful.
Awesome Docker-Based Patch Verification Harnesses GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- princeton-nlp/swe-bench
princeton-nlp/SWE-bench
5,263Voir sur GitHubSWE-bench est un benchmark d'ingénierie logicielle et un framework d'évaluation conçu pour mesurer la capacité des grands modèles de langage à résoudre des problèmes GitHub réels. Il fournit des jeux de données et des suites d'évaluation pour vérifier si les correctifs de code générés par le modèle corrigent correctement les bugs logiciels. Le projet inclut un benchmark multimodal pour tester les modèles de langage visuels sur des problèmes impliquant des interfaces graphiques. Il utilise une collection de problèmes de dépôts pré-traités et de correctifs de référence (gold-standard) pour entraîner et tester les agents de codage IA. Le framework fournit une infrastructure pour la vérification de correctifs conteneurisés et des environnements d'exécution reproductibles pour assurer des tests cohérents sur différents systèmes. Il couvre l'exécution automatisée de cas de test, la vérification de la prédiction de correctifs et la génération de jeux de données d'apprentissage supervisé à partir de rapports de bugs réels.
Runs generated code fixes in isolated Docker environments to verify issue resolution without affecting the host.
Python - swe-bench/swe-bench
SWE-bench/SWE-bench
4,321Voir sur GitHubSWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty
Provides a containerized system that builds task-specific environments to verify generated patches against original test suites.
Pythonbenchmarklanguage-modelsoftware-engineering
