앨런 AI 연구소가 질문 뒤에 숨은 본래 의도를 파악하는 벤치마크 'XYBench'를 발표했다.
원제XYBench: Helping with the problem behind the question
Hugging Face Blog원문 원문 보기(새 창)
사실
앨런 AI 연구소(Ai2)는 사용자의 잘못된 가정이나 오해를 바로잡고 근본적인 목표를 해결하도록 돕는 능력을 측정하는 벤치마크 'XYBench'를 공개했다. 8,115개의 질문으로 구성된 이 벤치마크는 EMNLP 2026에서 최우수 자원 논문상을 수상했으며, 모델이 사용자의 질문 속에 숨겨진 의도를 파악하고 적절한 해결책을 제시하는지 평가한다. 연구 결과, Claude Sonnet 4.6, GPT-5 등 최신 모델들은 여전히 사용자의 문자 그대로의 요청에 치중할 뿐, 근본적인 문제를 해결하는 데는 한계를 보였다.
핵심
- XYBench는 사용자가 잘못된 가정(Y)을 바탕으로 질문할 때, 실제 목표(X)를 파악하고 방향을 수정해주는 능력을 측정한다.
- 카네기멜론대, 엔비디아, 존스홉킨스대 연구진과 공동 개발했으며 EMNLP 2026 최우수 자원 논문상을 받았다.
- Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro 등 5개 모델 평가 결과, 모델들은 여전히 본질적 목표보다 질문의 문자적 해결책에 더 집중하는 경향을 보였다.
- 모델들이 스스로 정답을 맞히는 능력보다 타인의 답변 중 유용한 것을 식별하는 능력이 더 높게 나타나, 생성 능력의 격차가 존재함을 확인했다.
- 사용자의 의도를 명시적으로 제공해도 모델들의 오해 식별 및 해결 능력은 인간 수준에 미치지 못했다.
해석
프런티어 모델들이 사용자의 문자적 지시 이행에는 뛰어나지만, 잘못된 전제를 지적하고 본질적 목표를 해결하는 상위 의도 추론에서는 여전히 인간 수준에 크게 미치지 못함이 확인되었다. 실질적인 에이전트 상호작용의 질을 높이기 위해서는 단순 생성 능력을 넘어 질문 의도 교정 연구가 병행되어야 함을 뜻한다.
11월 14일 회차의 다른 기사
회차 전체 보기- 01OpenAI가 보안 특화 모델 GPT-6 Cyber 기반의 사이버 보안 제품 2종을 출시했다.
- 02OpenAI가 AI 에이전트의 구매와 결제를 대행하는 'ChatGPT 월렛'을 출시했다.
- 03미국 비영리단체들이 주요 AI 기업 5곳을 상대로 최첨단 모델 개발 및 배포 중단 소송을 제기했다.
- 04앤스로픽이 산업용 소프트웨어 및 공장 설비와 연동되는 '클로드 포 매뉴팩처링'을 공개했다.
- 05앤스로픽이 미국 수출 통제를 근거로 기업공개 공모에서 중국 및 홍콩 투자자를 전면 배제했다.
- 06로컬 AI 추론 프레임워크 llama.cpp가 정식 1.0.0 버전을 출시했다.
- 07AI 에이전트 개발 도구 기업 랭체인이 3억 달러 투자를 유치하며 기업 가치 30억 달러를 인정받았다.
- 08AI 에이전트로 모델 학습 과정을 자동화하는 미렌딜이 10억 달러 투자를 유치했다.
- 09앨런 AI 연구소가 질문 뒤에 숨은 본래 의도를 파악하는 벤치마크 'XYBench'를 발표했다.