Awesome GitHub RepositoriesProgramming Benchmarks

AlphaCodium est un framework de génération de code LLM et un benchmark de programmation automatisé conçu pour résoudre des problèmes de programmation via une génération et des tests itératifs. Il fonctionne comme un système de raffinement de code itératif qui améliore la précision du code généré en comparant les sorties aux résultats attendus et en re-promptant le modèle. Le projet implémente un pipeline d'ingénierie de flux, utilisant une séquence structurée d'étapes de prompting pour raffiner le code à travers un cycle de génération, d'évaluation et de correction. Cette approche permet au système de traiter des jeux de données de programmation et de mesurer la précision des solutions générées par rapport aux cas de test. Le framework couvre de larges capacités en génération de code automatisée, incluant le développement IA piloté par les tests et l'évaluation de jeux de données de programmation. Il gère ces tâches via un pipeline de synthèse multi-étapes qui intègre la planification, la rédaction et la révision.

Math24o: 高中奥林匹克数学竞赛测评集 High School Olympiad Mathematics Chinese Benchmark