AI 읽을거리

Ai2가 분산 데이터 병렬 처리를 통해 MoE 학습 효율을 2.7배 개선한 프레임워크 '올모 코어 3'를 공개했다.

원제Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개

AI타임스원문 원문 보기

앨런 AI 연구소(Ai2)가 전문가 혼합(MoE) 모델의 학습 효율을 기존 대비 2.7배 향상시킨 오픈소스 프레임워크 '올모 코어 3'를 공개했다. 이 프레임워크는 분산 데이터 병렬 처리(DDP) 방식을 도입해 GPU 간 통신 비용을 줄이고 데이터 이동을 최적화한 것이 특징이다. 470억 개 매개변수 모델 테스트에서 처리량 향상을 입증했으며, 코드와 기술 보고서를 깃허브에 공유하여 대규모 모델 학습 인프라 접근성을 강화했다.

핵심

  • Ai2가 LLM 학습 효율을 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 발표
  • FSDP 대신 분산 데이터 병렬 처리(DDP) 기반 시스템으로 재설계해 통신 비용 절감
  • 엔비디아 B300 GPU 8개 환경에서 470억 파라미터 MoE 모델로 GPU당 초당 5만 2000 토큰 처리
  • 행 단위 전문가 병렬화, GPU 상주 라우팅, 그룹형 행렬 곱셈 등 최적화 기술 적용
  • MXFP8 연산 형식을 지원해 학습 처리량을 약 21% 추가 향상 및 메모리 사용량 감소

해석

대규모 MoE 모델 훈련에 필요한 통신 병목을 줄여 학습 인프라의 경제성을 대폭 끌어올렸다. 오픈소스 기반의 인프라 최적화가 지속되면서 중소 연구기관과 기업의 프론티어 모델 개발 진입 장벽이 낮아질 수 있다.

10월 13일 회차의 다른 기사

회차 전체 보기
  1. 01메타가 장기 기억과 코딩 능력을 강화한 첫 프론티어 모델 '뮤즈 원더' 시리즈를 공개했다.
  2. 02마이크로소프트가 기존 GPU 대비 전력 효율을 40% 개선한 자체 추론용 칩 '마이아 300'을 발표했다.
  3. 03앤스로픽이 자율적 하위 에이전트 구조 설계를 지원하는 '다이내믹 워크플로' 기능을 공개했다.
  4. 04구글 딥마인드의 '알파프루프 넥서스'가 형식 검증을 통해 수학 난제를 해결하고 사이언스지 동료 심사를 통과했다.
  5. 05앤스로픽 레드팀이 데이터센터 없이 IoT 환경에서 자율 복제되는 AI 모델 위협을 확인했다고 발표했다.
  6. 06미국 백악관이 영국 AI 안전 연구소의 프론티어 모델 사전 접근 제한 조치를 철회했다.
  7. 07트럼프 행정부의 압박에 실리콘밸리 주요 기업들이 'AI' 대신 '초지능' 용어를 공식 채택하기 시작했다.
  8. 08Ai2가 분산 데이터 병렬 처리를 통해 MoE 학습 효율을 2.7배 개선한 프레임워크 '올모 코어 3'를 공개했다.
  9. 09그레이라크 테크놀로지스가 실내 사진만으로 특정 주택 위치를 추적하는 AI 기술을 경찰에 공급했다.