REDDIT / r/singularity
OpenAI, 벤치마크 30% 오류 주장! 경쟁사 견제인가, AI 평가 기준의 근본적 문제인가?
본문 요약
OpenAI가 SWE Bench Pro 벤치마크의 약 30% 태스크에 문제가 있음을 발견했다고 발표했다.
이 페이지는 Reddit 원문과 반응을 AI로 요약한 자료입니다. 아직 편집자 검수를 거치지 않았습니다. 중요한 내용은 원문에서 확인해 주세요. 요약·검수 원칙 →
Reddit 댓글 요약
OpenAI가 벤치마크 문제를 지적하는 것은 자사 모델이 앤트로픽 모델(Opus, Mythos 등)에 비해 낮은 점수를 받기 때문이라는 의혹 제기. 앤트로픽 모델이 정답을 암기했을 가능성도 언급됨.
벤치마크 자체의 유효성 및 인식론적 가치에 대한 근본적인 의문 제기. 높은 점수가 반드시 더 스마트한 모델을 의미하지 않으며, 실질적 유용성과의 상관관계는 측정하기 어렵다는 주장.
OpenAI가 이전에 SWE Bench Pro 사용을 추천했음에도 이제 와서 문제점을 제기하는 것에 대한 일관성 부족 비판.
※ AI가 작성한 요약으로, 오류나 누락이 있을 수 있습니다. 정확한 내용은 Reddit 원문을 확인해 주세요.