AI 읽을거리

구글 'Gemini 4 Carbon'이 MathArena 수학 벤치마크 1위에 올랐으나 추론 비용은 GPT-6.1 Sol 대비 15배에 달했다.

원제Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol

The Decoder원문 원문 보기

구글의 Gemini 4 Carbon 모델이 수학 벤치마크인 MathArena에서 1위를 차지하며 GPT-6.1 Sol을 밀어냈다. Gemini 4 Carbon은 85.4%의 성능을 기록했으나, GPT-6.1 Sol 대비 약 15배 높은 비용이 소요되는 것으로 나타났다. Claude Fable 5.2 또한 82.8%의 성적으로 2위에 올랐으나 비용은 가장 높게 측정되었다.

핵심

  • Google의 Gemini 4 Carbon이 MathArena 수학 벤치마크 1위에 등극함
  • Claude Fable 5.2가 2위, 기존 1위였던 OpenAI의 GPT-6.1 Sol이 3위를 기록함
  • Gemini 4 Carbon은 GPT-6.1 Sol보다 15배, Claude Fable 5.2는 40배 더 높은 비용이 발생함
  • Gemini 4 Carbon은 작업 완수율이 높으나 시간 제한을 초과하는 경우가 잦음
  • 수학 문제 해결 능력 측면에서 최상위 모델 간의 성능과 비용 효율성 차이가 큼

해석

고난도 추론 작업에서 최첨단 성능을 확보하기 위해 투입되는 컴퓨팅 자원과 토큰 비용이 기하급수적으로 증가하고 있다. 벤치마크 1위 달성과 실무 서비스 배포 환경 간의 비용 효율성 격차가 기업용 모델 채택의 핵심 변수로 부상하고 있다.

11월 15일 회차의 다른 기사

회차 전체 보기
  1. 01딥시크와 문샷 등 중국 AI 기업 4곳이 미국 수출 규제 대상인 엔비디아 블랙웰 GPU로 모델을 학습한 정황이 확인됐다.
  2. 02런웨이가 영상 생성 AI를 물리적 로봇 제어기로 확장한 오픈소스 모델 'Praxis-1'을 공개했다.
  3. 03OpenAI가 범용 AI 모델의 로봇 제어 역량 향상에 따라 로봇 전담 연구팀을 해체하고 일반 연구 조직으로 재배치했다.
  4. 04스페이스X가 영상 생성 AI '그록 이매진' 개발팀 인력 대다수를 해고하고 코딩과 에이전트 개발로 우선순위를 전환했다.
  5. 05구글 'Gemini 4 Carbon'이 MathArena 수학 벤치마크 1위에 올랐으나 추론 비용은 GPT-6.1 Sol 대비 15배에 달했다.
  6. 06앤스로픽이 전문가와 소상공인을 겨냥해 업무 도구를 연동하는 AI 에이전트 '클로드 듀엣'의 미리보기를 공개했다.
  7. 07구글이 미국 내 제미나이 앱에 구글 월렛을 연동하여 개인 소비 습관을 분석하는 기능을 출시했다.
  8. 08앤스로픽이 다중 턴 시뮬레이션 기반의 종합적인 AI 모델 안전성 평가 구축 방법론을 발표했다.