ה-SWE-bench Verified מתקשה להיממש כמרכיב חשוב בשיפור מערכת חישוב טכנולוגית. ניתוח של ה-SWE-bench Verified עולה כי התוצאות נתונות לחריגות ואינם מדויקים, במיוחד בעקבות פליאגיות בדוגמאות ו leaking מהתמיכה שנוצרה בתוכנה מערכת חישוב טכנולוגית. ממליץ לשדרג ל-SWE-bench Pro.
מקור: OpenAI News — לכתבה המלאה
כתיבת תגובה