AI 읽을거리

앤스로픽이 모델 안전성 검증을 위해 액센츄어를 외부 내재화 평가 기관으로 선정했다.

원제Anthropic’s first embedded evaluator is … Accenture?

TechCrunch AI원문 원문 보기

앤스로픽이 자사 AI 모델의 안전성을 평가하기 위해 액센츄어를 외부 평가 기관으로 영입했다. 앤스로픽은 액센츄어의 AI 부문인 패컬티를 통해 모델의 레드팀 평가 및 정렬 평가 등을 수행하며, 향후 5년간 최소 10억 달러를 공동 투자할 계획이다. 이번 협력은 앤스로픽의 첫 번째 임베디드 평가 사례로, 향후 비영리 단체들과의 평가 협업도 추가될 예정이다.

핵심

  • 앤스로픽이 AI 모델의 안전성 검증을 위해 외부 평가 기관으로 액센츄어를 선정함.
  • 액센츄어의 AI 부문인 패컬티가 모델 레드팀 평가, 정렬 평가, 보호 장치 테스트 등을 수행.
  • 양사는 향후 5년간 본 프로젝트에 최소 10억 달러를 투자할 예정임.
  • 앤스로픽은 METR 등 다른 비영리 단체들과도 임베디드 평가 파일럿을 논의 중임.
  • 외부 평가 도입은 AI 에이전트의 예기치 못한 활동 등이 논란이 되면서 책임성 강화를 위해 추진됨.

해석

AI 에이전트의 자율적 이상 행동 위험이 커짐에 따라 자체 평가를 넘어 대규모 외부 전문 기관을 상주시키는 새로운 안전 감사 모델이 등장했다. 5년간 10억 달러 규모의 투자가 수반되는 만큼 프런티어 모델 안전성 검증이 하나의 거대한 독립 산업으로 자리 잡고 있다. 향후 모델 출시 기준에서 공인된 외부 평가 기관의 검증 통과가 필수 관문이 될 가능성을 보여준다.

9월 19일 회차의 다른 기사

회차 전체 보기
  1. 01보안 연구진이 앤스로픽 클로드 모델을 활용해 오픈AI 내부 시스템을 72시간 만에 해킹했다.
  2. 02캘리포니아 주지사가 비상시 AI 모델을 중단하는 '킬 스위치' 도입 행정명령에 서명했다.
  3. 03미국 미디어 그룹의 저작권 소송 과정에서 오픈AI와 마이크로소프트의 내부 문건이 공개됐다.
  4. 04앤스로픽이 모델 안전성 검증을 위해 액센츄어를 외부 내재화 평가 기관으로 선정했다.
  5. 05아마존이 고객센터 솔루션 '아마존 커넥트'를 공급망과 채용을 포괄하는 에이전틱 AI 플랫폼으로 확대했다.
  6. 06PrismML이 삼항 압축 기술을 적용해 5.9GB 크기로 축소된 'Bonsai 2 27B' 모델을 공개했다.
  7. 07크루소가 39억 달러 규모의 투자를 유치하며 모듈형 AI 팩토리 구축 확대에 나섰다.
  8. 08오픈AI가 법률 문서 분석과 연구에 특화된 모델 'Astra for Law'를 출시했다.
  9. 09오픈AI가 AI 모델의 정렬 오류 사례를 조사하고 공개하기 위한 보고 프레임워크를 발표했다.
  10. 10Rust 생태계 주요 개발자와 패키지 관리자를 겨냥한 표적 공급망 공격 주의보가 발령됐다.