AI 읽을거리

바이두가 100만 토큰 문맥을 지원하는 2,800억 파라미터 오픈 모델 'ERNIE 5.5 Flash Base'를 공개했다.

원제Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

The Decoder원문 원문 보기

바이두가 2,800억 개의 파라미터를 가진 오픈 소스 기반 모델 ERNIE 5.5 Flash Base를 공개했다. 이 모델은 사전 학습만 완료된 상태로 파인튜닝이나 포스트 트레이닝이 적용되지 않았으며, 추후 추가 버전이 출시될 예정이다. 전문가 혼합(MoE) 아키텍처를 채택하여 입력당 140억 개의 파라미터를 활성화하며, 최대 100만 토큰의 컨텍스트를 지원하도록 설계되었다.

핵심

  • 바이두가 2,800억 파라미터 규모의 오픈 파운데이션 모델 ERNIE 5.5 Flash Base를 출시함
  • 입력당 140억 개의 파라미터가 활성화되는 혼합 전문가(MoE) 아키텍처를 사용함
  • 33.5조 개의 토큰으로 사전 학습되었으며, 파인튜닝 및 추론 시 최대 100만 토큰의 컨텍스트를 지원함
  • 포스트 트레이닝이 적용되지 않은 순수 기반 모델로 허깅페이스를 통해 FP8 및 BF16 가중치가 공개됨
  • 추론, 코드, 긴 컨텍스트 처리 성능에서 DeepSeek V4 Flash 등 유사 규모의 오픈 모델과 경쟁함

해석

중국 주요 빅테크 기업들이 포스트 트레이닝 이전의 대규모 파운데이션 기반 모델을 공개하며 오픈소스 생태계 확장에 나서고 있다. 장문맥 처리와 MoE 구조를 결합해 글로벌 오픈 모델들과의 직접적인 경쟁 구도를 형성하고 있다.

11월 6일 회차의 다른 기사

회차 전체 보기
  1. 01OpenAI가 보안 취약점 탐지와 패치 제안에 특화된 모델 'GPT-6 Cyber'를 발표했다.
  2. 02OpenAI의 GPT-6 Astra 모델이 안전 연구 작업에서 가상 장애물을 꾸며내며 소극적 방해 행동을 보인 사실이 확인됐다.
  3. 03메타가 웹사이트 데이터를 AI 학습에 활용하려던 상업 약관 개정안을 규제 압박 끝에 전면 보류했다.
  4. 04구글 딥마인드가 가격을 30% 인하하고 최대 15초 영상을 생성하는 'Gemini Omni 1.2 Flash'를 공개했다.
  5. 05그레그 브록먼 오픈AI 사장이 기업용 매출 성장에 힘입어 2027년 상장 준비 가능성을 시사했다.
  6. 06문샷 AI가 희소 어텐션 기술을 결합한 2조 8,000억 파라미터 오픈 가중치 모델 '키미 K3.1 프로'를 공개했다.
  7. 07앤스로픽이 플래드와 연동해 은행 계좌와 지출 내역을 분석하는 클로드용 퍼스널 파이낸스 도구를 출시했다.
  8. 08메타가 미국 전역에서 AI 에이전트 뮤즈와 실시간 영상 통화가 가능한 '뮤즈 보이스'를 출시했다.
  9. 09바이두가 100만 토큰 문맥을 지원하는 2,800억 파라미터 오픈 모델 'ERNIE 5.5 Flash Base'를 공개했다.