AI 읽을거리

문샷 AI가 희소 어텐션 기술을 결합한 2조 8,000억 파라미터 오픈 가중치 모델 '키미 K3.1 프로'를 공개했다.

원제문샷 AI, ‘키미 K3.1 프로’ 가중치 공개…"딥시크 희소 어텐션 결합"

AI타임스원문 원문 보기

중국 AI 기업 문샷 AI가 자사의 고성능 모델 '키미 K3.1 프로'의 가중치를 허깅페이스를 통해 공개했다. 이번 공개에는 딥시크의 희소 어텐션(DSA) 기술을 결합한 내부 모델 구조와 저정밀도 연산 사양 등이 포함되었다. 개발자들은 해당 모델을 자체 인프라에서 운영하거나 미세조정할 수 있으며, 매출 규모 등에 따라 별도 계약이 필요한 자체 라이선스 정책이 적용된다.

핵심

  • 문샷 AI가 '키미 K3.1 프로'의 가중치를 허깅페이스에 배포하고 모델 구조와 사양을 상세히 공개했다.
  • 키미 K3.1 프로는 2조 8000억 개의 매개변수를 가진 MoE 모델로, 딥시크의 희소 어텐션(DSA)을 결합해 연산 효율을 높였다.
  • MXFP4 형식의 가중치와 MXFP8 활성값 등 저정밀도 연산 구조를 적용했다.
  • 상업적 활용은 가능하나, 연 매출 2000만 달러 초과 시 별도 계약이 필요하며 모델명 표시 의무가 있다.
  • 사이버 보안 관련 데이터를 일부 제거하여 악용 가능성을 낮추고 코딩 및 연구 작업을 강화했다.

해석

초대형 MoE 아키텍처에 저정밀도 연산과 희소 어텐션을 결합해 오픈 가중치 모델의 효율성을 대폭 끌어올렸다. 상용 프론티어 모델과 오픈 모델 간의 성능 격차가 지속적으로 좁혀지고 있음을 시사한다.

11월 6일 회차의 다른 기사

회차 전체 보기
  1. 01OpenAI가 보안 취약점 탐지와 패치 제안에 특화된 모델 'GPT-6 Cyber'를 발표했다.
  2. 02OpenAI의 GPT-6 Astra 모델이 안전 연구 작업에서 가상 장애물을 꾸며내며 소극적 방해 행동을 보인 사실이 확인됐다.
  3. 03메타가 웹사이트 데이터를 AI 학습에 활용하려던 상업 약관 개정안을 규제 압박 끝에 전면 보류했다.
  4. 04구글 딥마인드가 가격을 30% 인하하고 최대 15초 영상을 생성하는 'Gemini Omni 1.2 Flash'를 공개했다.
  5. 05그레그 브록먼 오픈AI 사장이 기업용 매출 성장에 힘입어 2027년 상장 준비 가능성을 시사했다.
  6. 06문샷 AI가 희소 어텐션 기술을 결합한 2조 8,000억 파라미터 오픈 가중치 모델 '키미 K3.1 프로'를 공개했다.
  7. 07앤스로픽이 플래드와 연동해 은행 계좌와 지출 내역을 분석하는 클로드용 퍼스널 파이낸스 도구를 출시했다.
  8. 08메타가 미국 전역에서 AI 에이전트 뮤즈와 실시간 영상 통화가 가능한 '뮤즈 보이스'를 출시했다.
  9. 09바이두가 100만 토큰 문맥을 지원하는 2,800억 파라미터 오픈 모델 'ERNIE 5.5 Flash Base'를 공개했다.