השוואה לביצועים: האם הbenchmarks מתאימים למוצרים חדשים?

תחקיר חדש מ-OpenAI חושף בעיות ב-SWE-Bench Pro, מדגם שנחשב ל-benchmark פופולרי למדידת יכולת AI. חששות לגבי אמורה וערכיה של המידע מתעוררות.

מקור: OpenAI News — לכתבה המלאה