AI 읽을거리

Iterate.ai가 GPU당 에이전트 동시 처리 세션을 최대 6배 늘리는 추론 엔진 'Lifeboat'를 출시했다.

원제Exclusive: Iterate.ai’s Lifeboat runs up to six times more AI agent sessions per GPU

SiliconANGLE AI원문 원문 보기

Iterate.ai가 추론 엔진 'Lifeboat'를 출시하여 GPU당 AI 에이전트 동시 처리 세션을 최대 6배까지 향상시켰다. 이 소프트웨어는 키-값 캐시 최적화와 공정 스케줄링을 통해 에이전트 확장 시 발생하는 메모리 병목 문제를 해결한다. 또한 기밀 컴퓨팅 기능을 탑재하여 보안 환경에서의 추론을 지원한다.

핵심

  • Lifeboat는 GPU당 AI 에이전트 동시 세션 처리 능력을 2~6배 향상시킴
  • 키-값 캐시 최적화 기술을 통해 모델 가중치 정밀도를 유지하면서 가용 용량을 2배 늘림
  • 공정 스케줄링과 권한 제어로 특정 에이전트가 자원을 독점하는 것을 방지
  • 기밀 컴퓨팅 에디션을 통해 하드웨어 인증 기반의 데이터 암호화 및 보안 실행 환경 제공
  • Nvidia RTX PRO 6000 Blackwell GPU 테스트에서 2,048개의 동시 세션 처리 입증

해석

멀티 에이전트 워크플로 확산으로 인한 하드웨어 메모리 병목을 해결하기 위한 추론 스케줄링 소프트웨어의 중요성이 커지고 있다. 인프라 증설 없이 소프트웨어 단의 캐시 최적화로 처리 용량을 극대화하는 솔루션 수요가 증가하고 있다.

10월 6일 회차의 다른 기사

회차 전체 보기
  1. 01도널드 트럼프 미국 대통령이 연방 AI 전담 기구인 슈퍼 인텔리전스 부대를 공식 출범시켰다.
  2. 02OpenAI가 EU AI 법안 준수를 위해 챗GPT와 코덱스 생성 텍스트에 워터마크 기술을 도입한다.
  3. 03뉴럴링크가 5만 시간 분량의 비라벨 신경 데이터를 활용해 BCI 파운데이션 모델을 사전학습했다.
  4. 04마이크로소프트와 메타가 앤스로픽의 클로드 사용량을 대폭 축소하며 독자 도구 중심 전략을 강화했다.
  5. 05리플렉션 AI가 추론 비용을 대폭 낮춘 5,010억 파라미터 오픈 웨이트 모델 '빔'을 발표했다.
  6. 06OpenAI가 ChatGPT 이미지 생성 결과 화면에 시각적 디스플레이 광고를 테스트 도입한다.
  7. 07레카 AI가 텍스트, 멀티미디어, 로봇 제어를 단일망에서 처리하는 옴니 모델 'Rho-1'을 공개했다.
  8. 08Iterate.ai가 GPU당 에이전트 동시 처리 세션을 최대 6배 늘리는 추론 엔진 'Lifeboat'를 출시했다.
  9. 09미국 유타주가 스타트업 놀라 헬스의 AI 기반 여드름 처방 시스템 운영을 승인했다.
  10. 10메타의 AI 에이전트 'Muse'가 사용자의 지인 및 가족 관계 프로필을 자동 생성하는 기능이 확인되었다.