למה לא ניקח בחשבון את SWE-bench Verified

SWE-bench Verified מתעכבת ומתעוררת עם שינויים שאנחנו לא בטוחים שהם אמינים. בדיקה שלנו מצביעה על קושי במבחני SWE-bench, ויש חשש ל leaking מהכשרות. אנחנו ממליצים על SWE-bench Pro.

מקור: OpenAI News — לכתבה המלאה