앤스로픽이 다중 턴 시뮬레이션 기반의 종합적인 AI 모델 안전성 평가 구축 방법론을 발표했다.

원제Building strong safety evaluations

Anthropic Research원문 보기(새 창)

사실

앤스로픽이 AI 모델의 안전성 평가를 구축하고 신뢰성을 높이기 위한 종합적인 가이드라인을 발표했다. 이번 가이드는 모델의 유해성 판단 기준, 다중 턴 시뮬레이션을 통한 현실적인 상황 묘사, 그리고 평가 모델(grader)의 객관성 확보 방안을 중점적으로 다룬다. 앤스로픽은 심리학 연구의 재현성 개혁 사례를 참고하여 평가 계획을 사전에 등록하고 인간 전문가의 검증을 거치는 등 과학적이고 체계적인 평가 절차를 권장한다.

핵심

  • 안전성 평가는 모델의 유해성 유발 가능성을 측정하며, 단순히 거부율을 확인하는 것보다 문맥을 이해하는 다중 턴 평가가 필수적이다.
  • 다중 턴 시뮬레이션을 통해 실제 사용자와의 상호작용과 유사한 복합적이고 현실적인 위협 시나리오를 구성해야 한다.
  • 평가 모델(LLM judge)을 사용할 때는 객관적 기준을 수립하고, 인간 전문가와 평가 모델 간의 일치도를 주기적으로 검증해야 한다.
  • 평가 데이터의 오염(data contamination)을 방지하고, 모델이 평가 방식을 학습하여 성적을 조작(reward hacking)하지 못하도록 설계해야 한다.
  • 연구 결과의 신뢰성을 위해 평가 전 계획(preregistration)을 작성하고 샘플 규모를 충분히 확보할 것을 권장한다.

해석

단순 일회성 유해 프롬프트 거부율 측정 방식으로는 실제 사용 환경의 복합적 탈옥이나 보상 해킹을 감지하기 어렵다는 진단이 정립되고 있다. 심리학 연구의 사전 등록 절차와 인간 전문가 검증을 도입함으로써 모델 평가의 객관성과 재현성을 제도화하려는 시도다.

11월 15일 회차의 다른 기사

회차 전체 보기
  1. 01딥시크와 문샷 등 중국 AI 기업 4곳이 미국 수출 규제 대상인 엔비디아 블랙웰 GPU로 모델을 학습한 정황이 확인됐다.
  2. 02런웨이가 영상 생성 AI를 물리적 로봇 제어기로 확장한 오픈소스 모델 'Praxis-1'을 공개했다.
  3. 03OpenAI가 범용 AI 모델의 로봇 제어 역량 향상에 따라 로봇 전담 연구팀을 해체하고 일반 연구 조직으로 재배치했다.
  4. 04스페이스X가 영상 생성 AI '그록 이매진' 개발팀 인력 대다수를 해고하고 코딩과 에이전트 개발로 우선순위를 전환했다.
  5. 05구글 'Gemini 4 Carbon'이 MathArena 수학 벤치마크 1위에 올랐으나 추론 비용은 GPT-6.1 Sol 대비 15배에 달했다.
  6. 06앤스로픽이 전문가와 소상공인을 겨냥해 업무 도구를 연동하는 AI 에이전트 '클로드 듀엣'의 미리보기를 공개했다.
  7. 07구글이 미국 내 제미나이 앱에 구글 월렛을 연동하여 개인 소비 습관을 분석하는 기능을 출시했다.
  8. 08앤스로픽이 다중 턴 시뮬레이션 기반의 종합적인 AI 모델 안전성 평가 구축 방법론을 발표했다.