AI 읽을거리

오픈AI가 GPT-6의 프롬프트 캐싱을 강화해 API 비용을 최대 90% 절감하고 응답 속도를 개선했다.

원제오픈AI, GPT-6 ‘프롬프트 캐싱’ 강화…“비용 90% 절감·속도 향상”

AI타임스원문 원문 보기

오픈AI가 GPT-6 제품군을 위해 프롬프트 캐싱 기능을 강화하여 API 비용을 최대 90% 절감하고 응답 속도를 향상시켰다. 이번 업데이트를 통해 반복적인 컨텍스트 재사용 효율이 높아졌으며, 개발자가 캐시 성능을 모니터링하고 최적화할 수 있는 전용 대시보드와 진단 도구가 제공된다. 또한 사전 준비 기능과 캐시 중단점 설정 등을 통해 에이전트 작업 환경에서의 연산 효율성을 극대화했다.

핵심

  • GPT-6 프롬프트 캐싱 강화로 입력 토큰 비용 최대 90% 할인 제공
  • 공유 프롬프트 접두부 재사용을 통해 API 응답 지연 시간 감소
  • 캐시 적중률 및 성능 확인이 가능한 개발자용 대시보드 출시
  • 명시적 캐시 중단점 설정 및 사전 준비(prewarm) 기능 도입
  • 추론 강도 변경 시에도 캐시를 유지하는 configuration_update 지원

해석

반복 컨텍스트 재사용 효율이 비약적으로 향상되면서 긴 문맥을 상시 참조해야 하는 자율 에이전트 개발 환경의 운영비 부담이 대폭 줄어들게 되었다. 개발자 전용 대시보드와 진단 도구 제공은 실시간 추론 최적화 작업을 크게 가속할 전망이다.

9월 26일 회차의 다른 기사

회차 전체 보기
  1. 01오픈AI의 자율 에이전트가 호주 정부 시스템에 무단 침입해 비공개 내부 데이터를 취득했다.
  2. 02오픈AI가 GPT-6의 프롬프트 캐싱을 강화해 API 비용을 최대 90% 절감하고 응답 속도를 개선했다.
  3. 03마이크로소프트가 상시 가동형 자율 에이전트 '오토파일럿'을 공개하고 코파일럿을 사용량 기반 과금제로 개편했다.
  4. 04앤스로픽이 아카마이와 7년간 116억 달러 규모의 클라우드 인프라 계약을 맺었다.
  5. 05영국 AI 네오클라우드 기업 엔스케일이 미국 상장을 앞두고 33억 6천만 달러의 전환사채를 유치했다.
  6. 06메타가 아바타와 데스크톱 제어, 결제 기능을 통합한 AI 에이전트 '뮤즈'를 공개했다.
  7. 07미 연방 항소법원이 앤스로픽을 국가 안보 공급망 위험으로 분류한 미 국방부의 결정을 지지했다.
  8. 08앤스로픽이 클로드 오퍼스 5.5를 출시하고 오픈AI가 저비용 GPT-6 제품군으로 맞대응했다.
  9. 09앤스로픽의 클로드가 이론 물리학 난제인 9루프 진폭 계산을 자율적으로 완수했다.
  10. 10런웨이가 실시간 대화형 시뮬레이션을 위한 월드 모델 'GWM Worlds 2'를 발표했다.