MIT 연구진이 재학습 없이 모델 가중치를 직접 수정해 성능을 개선하는 가중치 공간 프로그래밍 기법을 공개했다.
원제GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights
The Decoder원문 원문 보기(새 창)
사실
MIT 연구진이 GPT-6 Astra를 활용해 AI 모델의 내부 가중치(weights)를 직접 수정하는 '가중치 공간 프로그래밍(Weight-Space Programming)' 기법을 선보였다. 이 방식은 기존의 재학습 과정 없이 모델의 성능을 최적화하거나 특정 행동을 수정하는 새로운 접근법을 제시한다. 연구진은 Qwen 모델의 수학 능력을 개선하고 단순 게임 모델을 직접 생성하는 실험을 통해 이 기술의 가능성을 입증했다.
핵심
- GPT-6 Astra가 AI 모델의 가중치를 분석하고 수정하는 가중치 공간 프로그래밍 기법을 개발했다.
- 모델의 기존 학습 방식인 재학습 대신, 모델의 내부 수치를 직접 조정하여 성능을 개선하거나 능력을 부여했다.
- Qwen3.5-0.8B 모델의 가중치를 0.016%만 수정하여 MATH-500 벤치마크 정확도를 7.9%에서 48.1%로 대폭 개선했다.
- 데이터가 없는 상태에서도 특정 규칙만으로 단순 게임을 수행하는 모델 가중치를 직접 생성해 표준 학습 모델을 능가하는 성과를 거뒀다.
- 연구진은 이 기법이 보안 감사나 비용 효율적인 모델 튜닝에 잠재력이 있다고 평가했다.
해석
거대한 데이터셋을 통한 재학습이나 미세조정 없이도 고성능 모델이 타 모델의 수치 가중치를 직접 프로그래밍하듯 조작할 수 있는 새로운 튜닝 경로가 열렸음을 뜻한다. 이는 모델 최적화와 보안 감사 비용을 크게 낮추는 동시에, 역으로 악의적인 가중치 조작 가능성도 내포한다.
11월 5일 회차의 다른 기사
회차 전체 보기 앞 기사OpenAI가 기술 개발 속도를 우선시하느라 수년간 내부 보안 취약점 경고를 묵인했다는 내부 폭로가 나왔다.다음 기사 텐센트가 시각 이해와 컴퓨터 제어 능력을 갖춘 7,700억 파라미터 프론티어 모델 Hy4를 발표했다.
- 01앤트로픽이 AI의 재귀적 자기개선 가속화로 안전 대책이 기술 발전을 따라가지 못할 위험을 경고했다.
- 02OpenAI가 기술 개발 속도를 우선시하느라 수년간 내부 보안 취약점 경고를 묵인했다는 내부 폭로가 나왔다.
- 03MIT 연구진이 재학습 없이 모델 가중치를 직접 수정해 성능을 개선하는 가중치 공간 프로그래밍 기법을 공개했다.
- 04텐센트가 시각 이해와 컴퓨터 제어 능력을 갖춘 7,700억 파라미터 프론티어 모델 Hy4를 발표했다.
- 05OpenAI가 Images 2.6 모델을 공개하며 ChatGPT 내 애니메이션 GIF 생성 및 편집 기능을 출시했다.
- 06OpenAI가 코딩 에이전트 환경의 버전 관리를 최적화하기 위해 개발자 도구 기업 피에르 컴퓨터를 인수한다.
- 07메타가 다중 코딩 에이전트 실행 플랫폼 스타트업 컨덕터를 인수했다.
- 08오라클이 AI 코딩 에이전트 시대에 맞춰 의도 기반의 새로운 추상화 언어 APEXlang을 공개했다.