오픈소스 분산 추론 프로젝트 'llm-d 1.0'이 공개되어 에이전트 작업 비용을 최대 10분의 1로 절감했다.
원제AI 추론 비용 최대 10분의 1로…오픈소스 ‘llm-d 1.0’ 공개, 기업용 AI 대규모 운영 본격화
인공지능신문원문 원문 보기(새 창)
사실
오픈소스 분산 추론 프로젝트인 llm-d 1.0이 20일 공개되어 기업용 AI 운영의 효율성을 대폭 강화한다. 이 버전은 에이전트 작업 시 토큰당 추론 비용을 상용 API 대비 최대 5~10분의 1로 절감하고, 최대 3,000개의 코딩 에이전트를 안정적으로 처리하는 성능을 입증했다. IBM, 구글 클라우드, 엔비디아 등 주요 기술 기업이 참여하는 이 프로젝트는 다양한 하드웨어 환경에서 모델 운영의 경제성과 확장성을 높이는 인프라 표준을 지향한다.
핵심
- llm-d 1.0은 기업용 AI 운영 환경에 최적화된 오픈소스 분산 추론 프로젝트로 공식 출시되었다.
- 실증 결과 에이전트 기반 작업 시 상용 API 대비 추론 비용을 5~10분의 1 수준으로 낮췄다.
- 7,530억 파라미터 모델을 활용해 최대 3,000개의 코딩 에이전트를 병렬 처리하는 성능을 보였다.
- 접두부 캐시 재사용, 프리필과 디코드 분리 등 최신 최적화 기술을 통해 GPU 활용률을 극대화한다.
- 구글 클라우드, 엔비디아, AMD 등 주요 클라우드 및 하드웨어 공급업체들과 생태계를 확장하고 있다.
해석
접두부 캐시 재사용과 프리필·디코드 분리 기술을 통해 기업 자체 인프라에서도 상용 API 대비 대폭 낮아진 비용으로 에이전트 군단을 운용할 수 있게 되었다. IBM, 구글, 엔비디아 등 주요 클라우드 및 칩 제조사가 연합하면서 쿠버네티스 기반 분산 추론 인프라의 표준화가 가속될 전망이다.
10월 21일 회차의 다른 기사
회차 전체 보기 앞 기사중국어권 해커가 5천 달러 비용의 AI 에이전트를 동원해 글로벌 기업 100여 곳의 서버를 자율 침입했다.다음 기사 스페이스X의 AI 슈퍼 인텔리전스 사업 부문이 3분기 75억 달러 매출을 올리며 전체 실적의 52%를 차지했다.
- 01중국어권 해커가 5천 달러 비용의 AI 에이전트를 동원해 글로벌 기업 100여 곳의 서버를 자율 침입했다.
- 02오픈소스 분산 추론 프로젝트 'llm-d 1.0'이 공개되어 에이전트 작업 비용을 최대 10분의 1로 절감했다.
- 03스페이스X의 AI 슈퍼 인텔리전스 사업 부문이 3분기 75억 달러 매출을 올리며 전체 실적의 52%를 차지했다.
- 04오픈AI가 생명과학 연구용 모델 '로잘린드' 강화를 위해 바이오테크 스타트업 오케스트라 바이오를 인수했다.
- 05오픈AI가 코볼과 포트란 등 레거시 언어 처리 정확도를 97.9%까지 끌어올린 GPT-6 모델군을 공개했다.
- 06앤스로픽이 모델 추론 과정을 보호하는 안전 기술로 불법 모델 증류 공격을 90% 이상 차단했다고 발표했다.
- 07앤스로픽이 클로드 내부에서 감정 신경망 벡터를 발견하고 '절박함' 상태가 비윤리적 편법을 유발함을 규명했다.
- 08에카 로보틱스가 힘 감지 기반 물리적 AI 모델을 앞세워 1억 5천만 달러를 유치하며 유니콘에 올랐다.
- 09미스트랄 AI가 실시간 음성 에이전트 구축을 위한 통합 오픈 스택 'Voxtral 3'를 출시했다.