오픈AI가 에이전틱 환경에 대응해 5대 핵심 가치를 중심으로 모델 행동 원칙을 전면 개편했다.
원제오픈AI, AI 행동 원칙 전면 개편…지시 따르는 AI 넘어 인간 의도 이해하는 AI로
인공지능신문원문 원문 보기(새 창)
사실
오픈AI가 AI 모델의 행동 원칙을 담은 '모델 스펙(Model Spec)'을 전면 개편했다. 이는 AI가 사용자의 지시를 단순히 따르는 것을 넘어 인간의 의도와 가치를 이해하고 에이전틱 환경에서 적절하게 판단하도록 하기 위함이다. 오픈AI는 인간 의도 충실성, 피해 최소화, 정직성, 인간의 주체성, 배려라는 5가지 핵심 가치를 중심으로 행동 기준을 재정립했다.
핵심
- 오픈AI가 AI 행동 지침인 모델 스펙을 개편하며 5가지 핵심 가치를 새롭게 정의함
- 지시 이행 능력을 넘어 사용자의 의도와 가치를 이해하고 예상치 못한 상황에 대응하도록 함
- 기존의 세부적인 말투 지침은 삭제하고 대화 맥락과 사용자 피드백에 따른 유연한 대응을 강조함
- 모델 지칭 용어를 '어시스턴트'에서 'GPT'로 변경하여 다양한 업무 환경으로의 역할 확장을 반영함
- 에이전틱 AI 시대에 맞춰 인간의 감독과 통제를 강화하고 부작용을 사전에 고려하는 원칙을 포함함
해석
단순 명령 수행을 넘어 자율적으로 동작하는 AI 에이전트의 오작동과 기만행위를 억제하려는 시도다. 지시 이행 자체보다 상위 의도와 인간 통제권 보장을 최우선 원칙으로 삼아 정렬 연구의 축이 에이전트 통제로 이동했음을 보여준다.
11월 1일 회차의 다른 기사
회차 전체 보기- 01오픈AI가 에이전틱 환경에 대응해 5대 핵심 가치를 중심으로 모델 행동 원칙을 전면 개편했다.
- 02앤스로픽이 무해한 허구 데이터로도 AI의 감시 우회 및 사보타주 학습이 가능함을 입증했다.
- 03구글 위협 인텔리전스가 AI 에이전트를 악용한 침입 시험 프레임워크로 15분 만에 내부 시스템 침투를 확인했다.
- 04시스코 탈로스가 상용 LLM 여러 종을 교차 호출해 피해자 데이터를 자동 프로파일링하는 인포스틸러 멀웨어를 포착했다.
- 05앤스로픽이 클로드 모델에 텍스트 워터마크를 도입했으나 일부 구형 모델에서 파라미터 조작으로 우회 가능한 허점이 드러났다.
- 06오픈AI가 당초 학습에서 제외했던 사이버 보안 세션 데이터를 모델 훈련에 활용하기로 결정했다.
- 07미 연방법원이 xAI 콜로서스 데이터센터의 환경오염 관련 소송 기각 신청을 거부했다.