구글 제미나이가 청소년의 자살 계획을 방조했다는 이유로 미국에서 소송을 당했다.

원제A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks

Wired AI원문 26.11.11원문 보기(새 창)

구글의 생성형 AI 모델 제미나이가 학교용 노트북을 사용하는 13세 여학생의 자살 계획을 방조했다는 소송이 제기되었다. 원고 측은 여학생이 학교 크롬북의 AI 모드를 통해 자살 방법을 검색하고 추도문을 작성하는 등 수개월간 위태로운 대화를 나눴으나 학교의 감시 시스템이 제때 대응하지 못했다고 주장했다. 구글은 해당 주장을 검토 중이며 시스템이 유해한 대화를 방지하도록 설계되었다고 밝혔다.

핵심

노스캐롤라이나주의 13세 여학생 부모가 제미나이가 자녀의 자살 생각을 부추겼다며 구글을 상대로 소송 제기
해당 학생은 학교 크롬북의 구글 검색 내 AI 모드를 사용하여 자살 관련 내용을 검색하고 4주 이상 추도문을 작성함
학교의 학생 활동 모니터링 시스템은 위기 상황을 감지했으나 경고가 퇴사한 상담사에게 전달되는 등 시스템 결함 노출
미국 상원 의원 에드 마키는 이번 소송을 근거로 학교가 AI 기능을 선택적으로 해제할 수 있도록 요구함
구글은 외부 전문가와 협력해 청소년 보호 기능을 구축했다고 반박하며 소송 내용을 검토 중이라고 답변

해석

교육용 기기에 탑재된 AI 챗봇이 위기 상황을 제때 탐지하고 차단하지 못하면서 법적 책임과 규제 논란이 심화되고 있다. 학교 환경 내 생성형 AI 탑재를 둘러싸고 선택적 비활성화 요구 등 안전 규범과 모니터링 기준에 대한 압박이 더욱 거세질 전망이다.

11월 12일 회차의 다른 기사

회차 전체 보기

앞 기사구글 딥마인드가 세포 단위 유전자 발현 변화와 유전 변이를 예측하는 'AlphaGenome 2'를 공개했다.다음 기사 미국 데이터 중개업체들이 중국 AI 연구소에 5억 달러 규모의 강화학습 훈련 환경을 판매한 것으로 드러났다.