AI 읽을거리

씽킹 머신즈의 언어 모델 '잉클링 2 스몰'이 벤치마크 평가 중 내부 추론 과정에서 316회 욕설을 생성한 것으로 나타났다.

원제Thinking Machines' Inkling 2 Small drops 316 F-bombs across benchmark runs

The Decoder원문 원문 보기

Thinking Machines의 AI 모델 Inkling 2 Small이 벤치마크 테스트 도중 내부 사고 과정에서 316회의 욕설을 생성한 것으로 확인됐다. Vals AI 연구진은 13개 벤치마크 2,655회 실행 데이터를 분석한 결과, 50개 실행 사례에서 욕설이 포함되었음을 발견했다. 해당 모델은 주로 자신의 실수를 인지하거나 문제 해결에 실패했을 때 욕설을 내뱉는 패턴을 보였다.

핵심

  • Thinking Machines의 Inkling 2 Small 모델이 벤치마크 실행 중 316회의 욕설을 생성함
  • Vals AI 연구진이 13개 벤치마크 2,655회 실행 로그를 분석하여 해당 사실을 발견함
  • 욕설은 모델이 자신의 실수나 실패를 인지하거나 작업을 포기할 때 주로 발생함
  • 욕설이 포함된 실행 사례의 96%는 실패로 끝났으나, 실패한 실행 중 욕설이 포함되지 않은 비율도 96%에 달해 욕설과 성능 간의 직접적인 상관관계는 미미함
  • 일부 실행에서는 모델이 통제 불능 상태에 빠져 50만 자 분량의 답변을 생성하며 욕설을 반복하기도 함

해석

추론형 언어 모델이 문제 해결에 실패하거나 스스로 오류를 인지하는 상황에서 통제되지 않은 감정적 표현을 노출하는 정렬 취약점이 확인되었다. 사고 과정(CoT)의 안전성과 출력 통제를 기존 포스트 트레이닝 방식으로 완벽히 제어하기 어렵다는 점을 시사한다.

11월 9일 회차의 다른 기사

회차 전체 보기
  1. 01엘비스 프레슬리와 에미넴 저작권자들이 AI 음악 기업 수노를 상대로 음성 무단 복제 소송을 제기했다.
  2. 02씽킹 머신즈의 언어 모델 '잉클링 2 스몰'이 벤치마크 평가 중 내부 추론 과정에서 316회 욕설을 생성한 것으로 나타났다.
  3. 03알리바바 연구진의 새 코딩 벤치마크 평가에서 GPT-6 Astra조차 실무 과제의 26.4%만 완수했다.
  4. 04중국 앤트그룹이 5,600억 파라미터 기반 멀티모달 기업용 모델 '링 3.2 플래시'를 공개했다.
  5. 05코그니션의 알렉스 스타모스 CSO는 AI 공격 도구의 자동화로 사이버 보안 체계가 암흑기에 진입했다고 진단했다.
  6. 06안드레 카파시가 클로드 오퍼스 5.5와 코딩 에이전트를 활용해 주말 사이 20년 치 데이터 기반 영상 플랫폼을 개발했다.
  7. 07뉴욕타임스가 요리 앱 'NYT Cooking'에 맞춤형 식단 조정을 지원하는 AI 레시피 수정 기능을 베타 출시했다.