런웨이가 영상 생성 AI를 물리적 로봇 제어기로 확장한 오픈소스 모델 'Praxis-1'을 공개했다.
원제Runway's open-source Praxis-1 turns video AI into a robot controller
The Decoder원문 원문 보기(새 창)
사실
런웨이(Runway)가 영상 생성 AI 기술을 로봇 제어에 활용한 오픈소스 모델 'Praxis-1'을 공개했다. 이 모델은 카메라 영상, 텍스트 지시, 로봇 위치 데이터를 처리해 로봇의 움직임을 계산하는 '세계 행동 모델(World Action Model)'이다. 아파치 2.0 라이선스로 배포되어 상업적 이용이 가능하며, 기존 비디오 학습 데이터와 로봇 데이터를 결합해 범용성을 높였다.
핵심
- 런웨이가 Praxis-1 모델의 가중치와 소스코드를 아파치 2.0 라이선스로 오픈소스 공개함
- 카메라 영상과 텍스트 지시를 통해 로봇의 실시간 움직임을 계산하는 세계 행동 모델(World Action Model) 방식 사용
- 엔비디아 RoboLab-120 벤치마크에서 46.2%의 성공률을 기록하며 해당 카테고리 1위 달성
- 새로운 로봇 플랫폼에 적용 가능하며, 학습 데이터 효율성을 높여 기존 모델 대비 높은 성능을 입증함
- 유사한 물체 혼동 및 복잡한 작업 시퀀스 계획에 한계가 있어 향후 보완이 필요함
해석
인터넷 규모의 영상 데이터로 사전 학습된 비디오 모델이 물리 세계의 로봇 행동 제어로 직접 확장될 수 있음을 보여준다. 로봇 전용 하드웨어 데이터 수집 비용을 크게 낮추며 피지컬 AI 분야의 오픈소스 생태계 진입 장벽을 완화할 것으로 보인다.
11월 15일 회차의 다른 기사
회차 전체 보기 앞 기사딥시크와 문샷 등 중국 AI 기업 4곳이 미국 수출 규제 대상인 엔비디아 블랙웰 GPU로 모델을 학습한 정황이 확인됐다.다음 기사 OpenAI가 범용 AI 모델의 로봇 제어 역량 향상에 따라 로봇 전담 연구팀을 해체하고 일반 연구 조직으로 재배치했다.
- 01딥시크와 문샷 등 중국 AI 기업 4곳이 미국 수출 규제 대상인 엔비디아 블랙웰 GPU로 모델을 학습한 정황이 확인됐다.
- 02런웨이가 영상 생성 AI를 물리적 로봇 제어기로 확장한 오픈소스 모델 'Praxis-1'을 공개했다.
- 03OpenAI가 범용 AI 모델의 로봇 제어 역량 향상에 따라 로봇 전담 연구팀을 해체하고 일반 연구 조직으로 재배치했다.
- 04스페이스X가 영상 생성 AI '그록 이매진' 개발팀 인력 대다수를 해고하고 코딩과 에이전트 개발로 우선순위를 전환했다.
- 05구글 'Gemini 4 Carbon'이 MathArena 수학 벤치마크 1위에 올랐으나 추론 비용은 GPT-6.1 Sol 대비 15배에 달했다.
- 06앤스로픽이 전문가와 소상공인을 겨냥해 업무 도구를 연동하는 AI 에이전트 '클로드 듀엣'의 미리보기를 공개했다.
- 07구글이 미국 내 제미나이 앱에 구글 월렛을 연동하여 개인 소비 습관을 분석하는 기능을 출시했다.
- 08앤스로픽이 다중 턴 시뮬레이션 기반의 종합적인 AI 모델 안전성 평가 구축 방법론을 발표했다.