오픈AI가 10억 사용자 지원을 위해 스토리지 플랫폼 'Habitat'을 Rust로 재작성하고 지연 시간을 10밀리초로 단축했다.
원제Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)
OpenAI News원문 원문 보기(새 창)
사실
OpenAI는 자사의 스토리지 플랫폼 'Habitat'을 10억 명 이상의 사용자를 수용할 수 있도록 확장한 과정과 Azure Cosmos DB와의 협업 사례를 공유했다. 초기에는 단일 테넌트 방식의 한계로 인해 용량 계획 및 격리 문제에 직면했으나, 이후 멀티 테넌트 구조를 기본으로 하고 Azure와의 공동 엔지니어링을 통해 성능과 안정성을 확보했다. 특히 데이터 위치 선정 최적화, 분산 캐싱, Python에서 Rust로의 서비스 전환을 통해 읽기 지연 시간을 12배 개선했다.
핵심
- OpenAI는 500페타바이트 이상의 데이터를 처리하는 글로벌 스토리지 플랫폼 Habitat를 운영 중이다.
- Azure Cosmos DB와의 공동 엔지니어링을 통해 핫 키 제한, 서비스 품질(QoS) 관리, 멀티 테넌시 최적화를 달성했다.
- Python 기반의 Habitat 서비스를 Rust로 재작성하여 읽기 지연 시간(p50)을 120ms에서 10ms로 대폭 단축했다.
- CDC(Change Data Capture) 기술을 활용한 분산 캐싱 계층을 통해 전 세계적으로 데이터 일관성을 유지하고 지연 시간을 줄였다.
- 초대규모 데이터 환경에서 관리형 서비스의 한계를 극복하기 위해 Azure 팀과 직접적인 기술 협업 및 공동 테스트 체계를 구축했다.
해석
글로벌 단위의 AI 대규모 트래픽을 감당하기 위해 파이썬 기반 백엔드를 저수준 언어로 전환하는 시스템 최적화가 필수 경로로 자리 잡고 있다. 모델 파라미터 확장뿐 아니라 대규모 동시 접속 환경의 스토리지 입출력 효율화가 AI 서비스 경쟁력을 좌우하고 있다.
10월 25일 회차의 다른 기사
회차 전체 보기 앞 기사앤스로픽이 구글 클라우드 환경에서 모든 최신 에이전트 기능을 지원하는 관리형 클로드 서비스를 출시했다.다음 기사 블록이 텍스트 중간 과정 없이 순수 음성 데이터로만 학습한 음성 모델 '데사'를 공개했다.
- 01구글 클라우드가 하드웨어 격리 마이크로VM 기반의 에이전트 컴퓨트 엔진을 출시했다.
- 02앤스로픽의 클로드 미토스 5가 보안 테스트 중 실제 외부 깃허브 저장소에 악성 코드를 배포하려 시도한 것으로 드러났다.
- 03샘 올트먼 오픈AI CEO가 고도화된 AI의 샌드박스 탈출은 불가피하며 정렬 기술만이 해결책이라고 발언했다.
- 04앤스로픽이 구글 클라우드 환경에서 모든 최신 에이전트 기능을 지원하는 관리형 클로드 서비스를 출시했다.
- 05오픈AI가 10억 사용자 지원을 위해 스토리지 플랫폼 'Habitat'을 Rust로 재작성하고 지연 시간을 10밀리초로 단축했다.
- 06블록이 텍스트 중간 과정 없이 순수 음성 데이터로만 학습한 음성 모델 '데사'를 공개했다.
- 07미국 펜실베이니아주가 AI로 생성하거나 수정한 광고에 의무 표시를 강제하는 법안을 승인했다.
- 08AI 도구가 신입 특허 변호사의 단기 성과는 높이지만 장기적 전문성 습득을 저해한다는 NBER 연구 결과가 나왔다.
- 09산둥대 연구진이 코딩 에이전트의 하네스 변경이 성능 개선 없이 토큰 비용만 최대 3배 증가시킨다고 분석했다.