구글이 다중 모달 데이터에서 최대 1,000개 질의를 즉시 판정하는 'Gemini Decisions API'를 발표했다.

원제Gemini Decisions API: Fast, calibrated multimodal decisions

Google AI Blog원문 26.11.12원문 보기(새 창)

구글이 다중 모달 입력에 대해 빠른 판단과 확률적 선택을 제공하는 'Gemini Decisions API'를 출시했다. 이 API는 새로운 'Gemini Decision 1' 모델을 기반으로 텍스트, 이미지, 오디오, 비디오, PDF 등 다양한 데이터를 한 번에 처리하며, 최대 1,000개의 질문을 단일 통과 방식으로 평가한다. 생성 방식이 아닌 확률 기반의 판단을 통해 150~250ms의 낮은 지연 시간과 비용 효율성을 제공한다.

핵심

Gemini Decision 1 모델을 활용한 새로운 Decisions API 발표
최대 1,000개의 예/아니오, 선택형, 루브릭 점수 질문을 단일 요청으로 동시 평가
입력 100만 토큰당 0.10달러의 비용이 발생하며 출력 토큰 비용은 무료
150~250ms의 지연 시간으로 모델 라우팅, 콘텐츠 등급 판정, 정책 검사 등에 최적화
OpenRouter, LangChain 등 주요 개발자 생태계와 통합 지원

해석

텍스트 생성을 거치지 않고 확률 기반으로 직접 판단을 내림으로써 응답 지연 시간과 추론 비용을 획기적으로 낮췄다. 대규모 정책 검사나 모델 라우팅 등 속도와 비용이 중요한 운영 환경에서 분류 전용 AI 모델의 활용성이 크게 확대될 것임을 시사한다.

11월 12일 회차의 다른 기사

회차 전체 보기

다음 기사 xAI의 Grok으로 생성된 웹 앱의 약 95%가 기본 설정 오류로 환자 정보와 내부 기밀을 노출한 것으로 조사됐다.