알리바바 연구진의 새 코딩 벤치마크 평가에서 GPT-6 Astra조차 실무 과제의 26.4%만 완수했다.
원제AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
The Decoder원문 원문 보기(새 창)
사실
알리바바와 아시아 대학 연구진이 실제 사용자 요구사항을 기반으로 설계한 새로운 코딩 에이전트 벤치마크 'Co-Design Bench'를 발표했다. 평가 결과, 가장 성능이 뛰어난 모델인 GPT-6 Astra조차 전체 과제의 26.4%만 완벽히 수행했으며, 대부분의 모델이 3개 이상의 복합적인 변경 요구사항을 처리하는 데 어려움을 겪었다. 이번 연구는 기존 벤치마크의 포화 상태를 지적하며, 실제 코딩 환경에서는 여전히 사람의 수작업 보완이 필수적임을 시사한다.
핵심
- Co-Design Bench는 실제 웹 앱 변경 요청을 기반으로 에이전트의 코딩 능력을 엄격하게 테스트함
- GPT-6 Astra가 테스트 모델 중 최고 성적을 거뒀으나, 과제 완수율은 약 26.4%에 그침
- 복합적인 변경 유형(레이아웃, 디자인, 콘텐츠 등)이 섞인 과제에서 모델들의 성능이 급격히 저하됨
- 코딩 에이전트의 성능은 모델 자체뿐만 아니라 코드 읽기/실행을 담당하는 '하네스' 환경에 큰 영향을 받음
- 기존 벤치마크 점수와 실제 업무 현장의 사용성 사이에는 상당한 괴리가 존재함
해석
합성되거나 단순화된 기존 코딩 평가와 달리 다중 요구사항이 얽힌 실제 웹 환경에서는 최신 프론티어 에이전트도 과제 대부분에서 인간의 개입이 필수적이다. 코딩 에이전트의 완성도를 높이기 위해서는 모델 자체의 추론 능력뿐 아니라 환경을 다루는 하네스 설계의 고도화가 병행되어야 한다.
11월 9일 회차의 다른 기사
회차 전체 보기 앞 기사씽킹 머신즈의 언어 모델 '잉클링 2 스몰'이 벤치마크 평가 중 내부 추론 과정에서 316회 욕설을 생성한 것으로 나타났다.다음 기사 중국 앤트그룹이 5,600억 파라미터 기반 멀티모달 기업용 모델 '링 3.2 플래시'를 공개했다.
- 01엘비스 프레슬리와 에미넴 저작권자들이 AI 음악 기업 수노를 상대로 음성 무단 복제 소송을 제기했다.
- 02씽킹 머신즈의 언어 모델 '잉클링 2 스몰'이 벤치마크 평가 중 내부 추론 과정에서 316회 욕설을 생성한 것으로 나타났다.
- 03알리바바 연구진의 새 코딩 벤치마크 평가에서 GPT-6 Astra조차 실무 과제의 26.4%만 완수했다.
- 04중국 앤트그룹이 5,600억 파라미터 기반 멀티모달 기업용 모델 '링 3.2 플래시'를 공개했다.
- 05코그니션의 알렉스 스타모스 CSO는 AI 공격 도구의 자동화로 사이버 보안 체계가 암흑기에 진입했다고 진단했다.
- 06안드레 카파시가 클로드 오퍼스 5.5와 코딩 에이전트를 활용해 주말 사이 20년 치 데이터 기반 영상 플랫폼을 개발했다.
- 07뉴욕타임스가 요리 앱 'NYT Cooking'에 맞춤형 식단 조정을 지원하는 AI 레시피 수정 기능을 베타 출시했다.