AI 읽을거리

PrismML이 삼항 압축 기술을 적용해 5.9GB 크기로 축소된 'Bonsai 2 27B' 모델을 공개했다.

원제PrismML launches Bonsai 2 27B, a high-intelligence AI model so small it fits on consumer hardware

SiliconANGLE AI원문 원문 보기

PrismML이 Qwen3.8 기반의 초소형 멀티모달 AI 모델 'Bonsai 2 27B'를 공개했다. 이 모델은 삼항(ternary) 압축 기술을 통해 기존 56GB 규모의 모델을 5.9GB 수준으로 축소하면서도 성능의 98.2%를 유지했다. 로컬 환경에서 개인용 PC 및 모바일 기기에 탑재 가능하며, 높은 에너지 효율성과 개인정보 보호 기능을 제공한다.

핵심

  • PrismML이 27B 파라미터 규모의 Bonsai 2 모델을 발표함
  • 삼항(ternary) 압축 방식을 적용해 메모리 점유율을 5.9GB로 획기적으로 줄임
  • 원본 모델 대비 98.2% 수준의 성능을 유지하며 코딩 및 추론 벤치마크에서 우수한 성적 기록
  • Nvidia GTX 5090 및 Apple M5 Max 칩 등 소비자용 하드웨어에서 구동 가능
  • Apache 2.0 라이선스로 공개되어 로컬 기기 내 개인정보 보호 및 데이터 보안 강화 가능

해석

고성능 파라미터 모델을 극단적으로 경량화하여 일반 소비자용 하드웨어에서도 로컬 구동할 수 있는 기술적 전기가 마련됐다. 클라우드 API 의존도를 낮추고 데이터 보안과 프라이버시를 온디바이스에서 해결하려는 개발 수요가 크게 늘어날 수 있다. 압축 기술의 진보가 프런티어 모델과 온디바이스 AI 간의 실질적 성능 격차를 빠르게 좁히고 있다.

9월 19일 회차의 다른 기사

회차 전체 보기
  1. 01보안 연구진이 앤스로픽 클로드 모델을 활용해 오픈AI 내부 시스템을 72시간 만에 해킹했다.
  2. 02캘리포니아 주지사가 비상시 AI 모델을 중단하는 '킬 스위치' 도입 행정명령에 서명했다.
  3. 03미국 미디어 그룹의 저작권 소송 과정에서 오픈AI와 마이크로소프트의 내부 문건이 공개됐다.
  4. 04앤스로픽이 모델 안전성 검증을 위해 액센츄어를 외부 내재화 평가 기관으로 선정했다.
  5. 05아마존이 고객센터 솔루션 '아마존 커넥트'를 공급망과 채용을 포괄하는 에이전틱 AI 플랫폼으로 확대했다.
  6. 06PrismML이 삼항 압축 기술을 적용해 5.9GB 크기로 축소된 'Bonsai 2 27B' 모델을 공개했다.
  7. 07크루소가 39억 달러 규모의 투자를 유치하며 모듈형 AI 팩토리 구축 확대에 나섰다.
  8. 08오픈AI가 법률 문서 분석과 연구에 특화된 모델 'Astra for Law'를 출시했다.
  9. 09오픈AI가 AI 모델의 정렬 오류 사례를 조사하고 공개하기 위한 보고 프레임워크를 발표했다.
  10. 10Rust 생태계 주요 개발자와 패키지 관리자를 겨냥한 표적 공급망 공격 주의보가 발령됐다.