앤트로픽이 AI의 재귀적 자기개선 가속화로 안전 대책이 기술 발전을 따라가지 못할 위험을 경고했다.
원제앤트로픽 "RSI 가속에 AI 안전 대책 뒤처질 수도"…통제 강화 검토
AI타임스원문 원문 보기(새 창)
사실
앤트로픽이 AI의 재귀적 자기개선(RSI)으로 인한 연구개발 속도 가속화가 안전 및 보안 대책 수립 속도를 추월할 수 있다고 경고했다. 회사는 증권신고서 수정본을 통해 AI가 차세대 모델 개발에 개입함에 따라 인간의 통제 체계를 강화해야 할 필요성을 제기했다. 또한, 클로드를 활용한 반도체 설계 등 AI 연구개발 자동화 전략과 그에 따른 잠재적 위험성을 상세히 기술했다.
핵심
- 앤트로픽이 RSI로 인해 AI 연구개발 속도가 안전 대책 마련보다 빨라질 위험을 경고함
- 증권신고서 수정본(S-1/A)을 통해 AI 기반 연구개발 가속화 기준에 곧 도달할 수 있음을 명시
- 과거 개발 속도 변화를 뒤늦게 파악한 사례를 인정하며 인간의 감독과 통제 유지 필요성 강조
- 9월 기준 앤트로픽 내부 코드베이스 기여 코드의 90% 이상을 클로드가 작성함
- AI를 활용한 자체 반도체 설계팀을 운영하여 엔지니어링 및 설계 작업 자동화를 추진 중
해석
AI가 자체 모델 개발과 시스템 설계에 직접 관여하면서 발전 속도가 안전 규제나 통제 체계의 수립 속도를 앞지를 수 있음을 시사한다. 특히 앤트로픽 사내 코드의 90% 이상을 AI가 작성하는 현실에서 안전 장치 마련이 더 이상 사후 대응에 머물러선 안 된다는 점을 보여준다.
11월 5일 회차의 다른 기사
회차 전체 보기- 01앤트로픽이 AI의 재귀적 자기개선 가속화로 안전 대책이 기술 발전을 따라가지 못할 위험을 경고했다.
- 02OpenAI가 기술 개발 속도를 우선시하느라 수년간 내부 보안 취약점 경고를 묵인했다는 내부 폭로가 나왔다.
- 03MIT 연구진이 재학습 없이 모델 가중치를 직접 수정해 성능을 개선하는 가중치 공간 프로그래밍 기법을 공개했다.
- 04텐센트가 시각 이해와 컴퓨터 제어 능력을 갖춘 7,700억 파라미터 프론티어 모델 Hy4를 발표했다.
- 05OpenAI가 Images 2.6 모델을 공개하며 ChatGPT 내 애니메이션 GIF 생성 및 편집 기능을 출시했다.
- 06OpenAI가 코딩 에이전트 환경의 버전 관리를 최적화하기 위해 개발자 도구 기업 피에르 컴퓨터를 인수한다.
- 07메타가 다중 코딩 에이전트 실행 플랫폼 스타트업 컨덕터를 인수했다.
- 08오라클이 AI 코딩 에이전트 시대에 맞춰 의도 기반의 새로운 추상화 언어 APEXlang을 공개했다.