1 repository
Awesome GitHub RepositoriesCode-Based Problem Solving Assessments
Frameworks for evaluating the ability of AI models to resolve software bugs by generating functional code patches.
Distinct from Geometric Problem Solving: Candidates are focused on human interview techniques or specific mathematical algorithms, not AI-driven software engineering evaluation.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Code-Based Problem Solving Assessments. Refine with filters or upvote what's useful.
Awesome Code-Based Problem Solving Assessments GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- princeton-nlp/swe-bench
princeton-nlp/SWE-bench
5,263Vezi pe GitHubSWE-bench este un framework de benchmark și evaluare pentru ingineria software, conceput pentru a măsura capacitatea modelelor de limbaj mari de a rezolva probleme reale de pe GitHub. Oferă seturi de date și suite de evaluare pentru a verifica dacă patch-urile de cod generate de model repară corect bug-urile software. Proiectul include un benchmark multimodal pentru testarea modelelor de limbaj vizual pe probleme care implică interfețe grafice. Utilizează o colecție de probleme de repository pre-procesate și patch-uri gold-standard pentru a antrena și testa agenții de programare AI. Framework-ul oferă infrastructură pentru verificarea patch-urilor în containere și medii de execuție reproductibile pentru a asigura testarea consistentă pe diferite sisteme. Acoperă execuția automatizată a cazurilor de testare, verificarea predicției patch-urilor și generarea de seturi de date de învățare supervizată din rapoarte de bug-uri reale.
A process to assess how language models resolve software issues by generating code patches based on a provided codebase.
Python
