누스 리서치가 5,300만 토큰 파인튜닝으로 중국 정부 선전 문구를 1% 미만으로 줄인 오픈 모델 'Arete-27B'를 공개했다.
원제State propaganda in some Chinese AI models is only "a thin layer" that fine-tuning can strip away
The Decoder원문 원문 보기(새 창)
사실
누스 리서치(Nous Research)는 알리바바의 Qwen3.8-27B 모델을 파인튜닝하여 중국 정부의 선전 문구가 포함된 응답을 제거한 'Arete-27B' 모델을 공개했다. 5,300만 개의 토큰으로 지도 학습(Supervised fine-tuning)을 거친 결과, 선전 비율이 기존 22%에서 1% 미만으로 감소했다. 연구진은 중국 오픈 웨이트 모델에 내재된 정치적 편향이 모델의 근본적인 능력을 훼손하지 않고도 제거 가능한 얕은 층에 불과함을 입증했다고 밝혔다.
핵심
- 누스 리서치가 알리바바의 Qwen3.8-27B 모델을 기반으로 정치적 편향을 제거한 Arete-27B를 발표함
- 5,300만 토큰으로 지도 학습을 진행하여 모델의 선전 문구 노출 비율을 22%에서 0.9%로 낮춤
- 기존 모델의 일반적인 성능이나 추론 능력을 유지하면서도 서구권 모델 수준의 가치관 정렬을 달성함
- 표현의 자유, 감시, 민주주의 등 7개 카테고리의 803개 질문으로 구성된 자체 평가 데이터셋을 활용함
- Arete-27B의 모델 가중치와 학습 데이터, 테스트 데이터는 아파치 2.0 라이선스로 허깅페이스에 공개됨
해석
중국산 오픈 가중치 모델에 주입된 정치적 정렬 요소가 비교적 가벼운 사후 미세조정만으로도 제거될 수 있음을 보여준다. 서구 오픈소스 진영이 중국 기반 고성능 모델의 기본 역량을 흡수해 재가공하는 생태계 흐름이 가속될 수 있다.
11월 8일 회차의 다른 기사
회차 전체 보기 앞 기사앤스로픽 연구진이 AI 기반 에이전트 감시 모델의 높은 오탐지율로 인간 검토자의 피로가 가중된다는 연구를 발표했다.다음 기사 유럽연합 집행위원회가 시청 시간 위주의 틱톡 AI 추천 알고리즘에 대해 디지털서비스법 위반 예비 판단을 내렸다.
- 01카네기멜론대 평가 결과 9개 주요 AI 에이전트 모두 국립 연구소의 미해결 과학 과제 기준을 통과하지 못했다.
- 02앤스로픽 연구진이 AI 기반 에이전트 감시 모델의 높은 오탐지율로 인간 검토자의 피로가 가중된다는 연구를 발표했다.
- 03누스 리서치가 5,300만 토큰 파인튜닝으로 중국 정부 선전 문구를 1% 미만으로 줄인 오픈 모델 'Arete-27B'를 공개했다.
- 04유럽연합 집행위원회가 시청 시간 위주의 틱톡 AI 추천 알고리즘에 대해 디지털서비스법 위반 예비 판단을 내렸다.
- 05앨런 AI 연구소가 로봇 학습 및 평가를 위한 시뮬레이션 프레임워크 'ToyBlocks'를 오픈소스로 배포했다.
- 06아마존이 알렉사 AI 에이전트를 통해 텍스트 메시지로 쇼핑과 결제를 지원하는 기능을 공개했다.
- 07AI 연구소들이 모델 고도화를 위해 사내 이메일과 업무 메신저 데이터를 매입하면서 프라이버시와 고용 대체 논란이 확산하고 있다.
- 08스타트업 언더독이 브라우저에서 오프라인으로 구동되는 32MB 초경량 음성 생성 모델 '우프'를 공개했다.