아마존이 전문가 간 상호작용을 분석해 MoE 모델 메모리를 절감하는 가지치기 기술 'HOPE'를 공개했다.
원제Your Experts Have Partners. There's HOPE for Keeping Them Together
Hugging Face Blog원문 원문 보기(새 창)
사실
아마존이 혼합 전문가(MoE) 언어 모델의 전문가를 효율적으로 제거하여 메모리 사용량을 줄이는 'HOPE(Higher-Order Pruning of Experts)' 기법을 발표했다. 기존 1차적 가지치기 기법이 전문가를 개별적으로 평가하는 것과 달리, HOPE는 전문가 간의 쌍방향 협력 관계를 2차적으로 분석하여 모델 성능 저하를 최소화한다. 실험 결과, 50% 수준의 공격적인 가지치기 환경에서 타 기법 대비 우수한 성능을 입증했으며, 특히 에이전트 코딩 작업에서 강점을 보였다.
핵심
- MoE 모델의 메모리 병목 현상을 해결하기 위해 덜 중요한 전문가를 삭제하는 전문가 가지치기 기술 적용
- 기존 기법은 전문가를 독립적으로 평가하나, HOPE는 전문가 간의 쌍방향 상호작용을 고려하여 보존 그룹을 결정
- 50% 수준의 가지치기 시 기존 방식(REAP 등) 대비 성능 저하를 크게 줄이고 높은 벤치마크 점수 기록
- SWE-Bench Pro 테스트에서 Qwen3.5-35B 모델 기준 42.3점을 달성하며 원본 모델과 유사한 성능 유지
- HOPE 오픈소스 패키지를 통해 Qwen3 및 GLM-4.5 시리즈 모델 등에 즉시 적용 가능한 파이프라인 제공
해석
단순 독립 평가를 벗어나 전문가 서브넷의 결합 구조를 보존하는 최적화 기법이 모델 경량화 효율을 끌어올리고 있다. 고성능 거대 모델을 제한된 인프라에서 경제적으로 구동하려는 연구가 구체적 성과를 내고 있다.
11월 10일 회차의 다른 기사
회차 전체 보기 앞 기사OpenAI가 기업용 ChatGPT Enterprise를 AWS 마켓플레이스를 통해 공급하기 시작했다.다음 기사 미국 연방 의회에 입성한 스콧 위너 의원이 재귀적 자기 개선 방지를 포함한 강력한 AI 연방 규제 법안을 예고했다.
- 01앤스로픽이 기업공개를 앞두고 고난도 추론 모델 클로드 페이블 5.2와 미소스 5.2를 공개했다.
- 02OpenAI가 AI 연구 과정의 이상 징후를 실시간 감지해 작업을 강제 중단하는 시스템 'Control Room'을 발표했다.
- 03메타가 도구 호출 등 반복 업무를 저비용으로 처리하는 에이전트 전용 경량 모델 '뮤즈 엠버'를 출시했다.
- 04바이트댄스가 100회 연속 수정에도 픽셀 안정성을 유지하는 전문가용 이미지 모델 'Seedream 5.5'를 공개했다.
- 05LG AI연구원이 파운데이션 모델 'K-엑사원 2.5'의 API를 전면 무료로 개방했다.
- 06애플이 로직 프로 내 클라우드 AI 기능의 초과 사용을 위한 50달러 유료 패키지를 출시했다.
- 07앤스로픽이 AI 데이터센터 전력 확보를 위해 34억 달러 규모의 가스 터빈을 직접 구매했다.
- 08OpenAI가 기업용 ChatGPT Enterprise를 AWS 마켓플레이스를 통해 공급하기 시작했다.
- 09아마존이 전문가 간 상호작용을 분석해 MoE 모델 메모리를 절감하는 가지치기 기술 'HOPE'를 공개했다.
- 10미국 연방 의회에 입성한 스콧 위너 의원이 재귀적 자기 개선 방지를 포함한 강력한 AI 연방 규제 법안을 예고했다.