למה אנחנו לא מחשיבים את SWE-bench Verified עוד

SWE-bench Verified נמצאת בתוך סערות שונות וגורמת למדידה לא תקינה של קצב התקדמות פרוטוקולים. התוצאה היא שגיאות במבחני ה-SWE-bench, והתועלת שלה נמוכה. אנחנו ממליצים על SWE-bench Pro.

מקור: OpenAI News — לכתבה המלאה