앤스로픽과 OpenAI가 모델 개발 과정에 외부 안전성 평가기관의 상주를 추진한다.
원제Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?
TechCrunch AI원문 원문 보기(새 창)
사실
앤스로픽의 다리오 아모데이 CEO와 오픈AI의 샘 알트먼 CEO가 자사 AI 모델 내부에 제3자 안전성 평가기관을 상주시키는 방안을 추진하겠다고 발표했다. 이는 기존의 사후 모델 검증 방식을 넘어, 훈련 과정과 내부 데이터까지 평가기관에 공개하여 모델의 정렬 상태와 위험 요소를 검증하겠다는 취지다. 하지만 업계 전문가들은 기업의 실질적인 정보 접근권 보장 여부와 독립성 유지에 대해 의문을 제기하며 법적 규제의 필요성을 강조하고 있다.
핵심
- 앤스로픽과 오픈AI가 모델 개발 및 훈련 과정에 제3자 안전성 평가기관을 상주시키는 계획을 수립함
- 기존의 최종 모델 검증 방식에서 벗어나 훈련 체크포인트와 내부 로그 등 심층 데이터 접근권을 제공할 방침
- 평가기관들은 기업이 통제권을 내려놓고 독립적인 보고를 보장해야 실질적인 감시가 가능하다고 지적함
- 과거 오픈AI의 사례처럼 짧은 평가 기간과 엄격한 NDA가 평가의 독립성을 저해했다는 비판이 제기됨
- 메타, xAI, 구글 딥마인드 등 타 기업들은 아직 해당 방안에 동참하지 않았으며, EU AI법 및 캘리포니아 법률 등 제도적 움직임이 뒤따르는 중
해석
출시 전 완성품 검증에 그치던 방식에서 벗어나 훈련 체크포인트와 내부 로그까지 제3자에게 개방하려는 시도가 시작되었다. 다만 기업의 정보 접근권 제한과 기밀유지협약 수준에 따라 감시의 실질적 독립성을 확보할 수 있는지가 관건이다.
9월 17일 회차의 다른 기사
회차 전체 보기 앞 기사AIUC가 AI 에이전트 리스크 보증 및 표준 인증을 위해 4,000만 달러 규모 시리즈 A 투자를 유치했다.다음 기사 구글이 실시간 음성 대화와 배경 도구 호출을 결합한 Gemini 3.8 Live를 발표했다.
- 01OpenAI가 AI 에이전트의 오정렬 사례를 보고하고 대응하기 위한 프레임워크를 공개했다.
- 02AIUC가 AI 에이전트 리스크 보증 및 표준 인증을 위해 4,000만 달러 규모 시리즈 A 투자를 유치했다.
- 03앤스로픽과 OpenAI가 모델 개발 과정에 외부 안전성 평가기관의 상주를 추진한다.
- 04구글이 실시간 음성 대화와 배경 도구 호출을 결합한 Gemini 3.8 Live를 발표했다.
- 05오픈 웨이트 모델 개발사 Arcee AI가 시리즈 B 투자를 유치하며 10억 달러 가치를 돌파했다.
- 06앤스로픽이 클로드 챗 인터페이스 안에 에이전트 협업 도구 코워크와 문서 도구를 통합했다.
- 07미국 정부와 의회의 정치적 이견으로 당분간 연방 차원의 AI 규제 도입이 어려울 전망이다.
- 08우르줄라 폰데어라이엔 EU 집행위원장이 AI 에이전트의 통제권 이탈 위험을 공식 경고했다.
- 09TypeSafe가 텍스트 생성을 배제하고 의사결정과 라우팅에 특화된 모델 Jev를 발표했다.
- 10애플이 자체 설계 M8 Ultra 칩을 탑재한 엔터프라이즈 AI 서버를 개발 중이다.