בדיקות של שפת קoding: האם מדידות נכונות?

OpenAI פרסם אודות חששות לגבי מדידות מתוחכמות בדיוק של מודל AI על ידי SWE-Bench Pro, יעד פופולרי לניסוי. המדידה נתקלת בעיות של שינוי באמת והתנהגות עקב קומפיינטים חיצוניים.

מקור: OpenAI News — לכתבה המלאה

Comments

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

עוזר האתר מודל מקומי · gemma2
שלום! 👋 אני העוזר החכם של האתר, רץ על מודל מקומי בשרת. איך אפשר לעזור?