La référence pour mesurer un agent de code sur des corrections réelles ; les variantes Verified et Multimodal sont gérées par le même harness. À utiliser pour comparer des harness ou des modèles sur une base commune, idéalement avec un harness fixe comme mini-swe-agent. Limites : l'évaluation complète demande Docker et beaucoup de ressources ; un score SWE-bench ne prédit pas la performance sur votre propre base de code. Licence MIT. 6 033 étoiles et dernier push le 2026-09-18 (au 2026-10-15).
SWE-bench/SWE-bench
Le code et les données de SWE-bench : des tickets GitHub réels à résoudre, avec un harness d'évaluation conteneurisé.