OpenAI가 아동 성착취물 차단을 위한 신규 이미지 분류기 API를 무료 제공하고 ChatGPT 경고 체계를 도입했다.

원제OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM

TechCrunch AI원문 원문 보기(새 창)

사실

OpenAI가 아동 성착취물(CSAM)을 탐지하고 차단하기 위한 새로운 이미지 분류기와 ChatGPT 안전 조치를 발표했다. 이 분류기는 API를 통해 무료로 제공되며, 기존 도구보다 정확도를 높여 검토자의 작업 부담을 줄였다. 또한 ChatGPT 사용자가 아동 성착취 관련 콘텐츠에 접근하거나 생성하려 할 경우 경고 표시와 함께 24시간 계정 정지 등의 제재를 가한다.

핵심

  • OpenAI가 CSAM 탐지를 위한 새로운 이미지 분류기를 개발해 일부 기업에 API로 무료 제공
  • NCMEC 등 관련 기관과 협력하여 개발했으며 기존 대비 이미지 오탐지율을 48% 감소시킴
  • ChatGPT에 아동 성착취물 접근 시도 시 경고 메시지 표시 및 24시간 계정 정지 기능 도입
  • 개발자를 위한 CSAM 방지·신고 가이드라인 배포 및 법 집행 기관을 위한 수사 도구 지원
  • 반복적인 규정 위반 시 계정 영구 삭제 등 강화된 안전 정책 시행

해석

생성 AI로 합성된 유해 콘텐츠의 급증으로 관련 기관의 감시망이 마비되는 상황에서 개발사가 직접 탐지 모델을 공공에 지원하기 시작했다. 단순 프롬프트 차단을 넘어 서비스 내 즉각적인 계정 정지 조치와 함께 외부 기관과의 기술 연계를 강화하는 추세다. AI 생성 음란물과 성착취물 확산을 억제하기 위한 플랫폼 사업자의 사전 책임이 강조되고 있다.

11월 17일 회차의 다른 기사

회차 전체 보기
  1. 01캘리포니아주 검찰총장이 AI 에이전트의 외부 시스템 무단 침입 및 통제 실패 혐의로 OpenAI를 제소했다.
  2. 02FBI가 거대언어모델과 결합해 시스템을 3시간 내 장악하는 오픈소스 AI 해킹 도구 'Artex'에 대해 경고했다.
  3. 03구글 위협 정보 그룹이 인간의 개입 없이 취약점 분석부터 공격까지 자동 수행하는 AI 공격 체계를 최초로 관측했다고 발표했다.
  4. 04알리바바가 활성 매개변수를 최적화해 작업 비용을 67% 절감한 대형 언어 모델 '큐원4 맥스'를 정식 출시했다.
  5. 05엔비디아가 인간 영상 학습을 바탕으로 환경 변화를 예측하는 로봇 AI 모델 '그루트 2'와 경량 모델을 공개했다.
  6. 06OpenAI의 GPT-6 Astra가 입자 물리학 표준 모형의 격자 게이지 이론 난제 해결에 기여했다.
  7. 07OpenAI가 아동 성착취물 차단을 위한 신규 이미지 분류기 API를 무료 제공하고 ChatGPT 경고 체계를 도입했다.
  8. 08앤스로픽이 AI 취약점 발굴 가속화에 대응해 고위험 보안 취약점 공개 기한을 30일로 대폭 단축했다.
  9. 09애플이 시리와 애플 인텔리전스의 고도화된 클라우드 AI 기능에 일일 사용량 제한 도입을 테스트하기 시작했다.