AI 읽을거리

오픈AI가 추론 지연 시간을 밀리초 단위로 단축한 '디시전스 API'를 정식 출시했다.

원제OpenAI makes its Jev competitor widely available as decision model competition heats up

TechCrunch AI원문 원문 보기

OpenAI가 기존 ChatGPT Luna 모델을 재구성한 Decisions API를 전 세계 사용자에게 정식 출시했다. 이 모델은 복잡한 추론 대신 빠른 속도와 저렴한 비용으로 선택과 분류를 수행하는 '의사결정 모델' 시장을 겨냥한다. 기존 LLM 대비 처리 속도를 100~180밀리초 단위로 단축하여 기업 워크플로우 효율성을 높이는 데 주력한다.

핵심

  • OpenAI의 Decisions API는 기존 Luna 모델을 최적화하여 추론 속도를 초단위에서 밀리초 단위로 획기적으로 개선했다.
  • 의사결정 모델은 LLM보다 빠르고 비용이 저렴하며, 주어진 옵션 중 선택을 내리고 신뢰도 점수를 제공하는 데 특화되어 있다.
  • Box, Datadog, Speak 등 주요 기업들이 이미 자사 서비스의 API 응답 속도를 개선하기 위해 도입했다.
  • 경쟁 모델인 TypeSafe의 Jev 모델 등이 시장을 주도하는 가운데, OpenAI는 시각 및 음성 모달리티 지원을 강화하며 대응하고 있다.
  • 향후 60밀리초 이하의 초저지연 성능을 확보하여 실시간 비디오 프레임 처리 등 새로운 활용 사례를 창출할 계획이다.

해석

복잡한 범용 추론 모델과 별개로 분류와 선택에 특화된 초저지연 의사결정 모델의 시장 수요가 확인되었다. 실시간 비디오 및 서비스 파이프라인에서 지연 시간과 비용을 줄이기 위한 특화 모델 경쟁이 심화되고 있다.

10월 23일 회차의 다른 기사

회차 전체 보기
  1. 01엔비디아가 AI 에이전트의 이상 행동을 하드웨어 수준에서 차단하는 '오픈셸' 아키텍처를 공개했다.
  2. 02원패스워드가 비밀번호 노출 없이 AI 에이전트의 대리 로그인을 지원하는 플랫폼을 출시했다.
  3. 03중국 딥시크가 미국의 연방 사용 금지 조치 직후 150억 달러 규모의 신규 투자를 유치했다.
  4. 04테슬라가 캘리포니아 공장에서 휴머노이드 로봇 '옵티머스'의 상업용 양산에 돌입했다.
  5. 05오픈AI가 추론 지연 시간을 밀리초 단위로 단축한 '디시전스 API'를 정식 출시했다.
  6. 06마이크로소프트가 다중 에이전트 협력으로 의사보다 높은 진단 정확도를 기록한 '다이애그노스틱 오케스트레이터'를 공개했다.
  7. 07텍사스주 환경품질위원회가 데이터센터 건설 허가 자동 승인 포털을 폐쇄하고 관련 허가 17건을 정지했다.
  8. 08엔비디아, 앤스로픽, 오픈AI가 2026년 3분기 정책 로비 자금으로 역대 최대인 총 600만 달러를 집행했다.