주요 AI 기업들이 웹사이트의 AI 학습 데이터 수집 거부를 위한 IETF 공통 표준을 도입하기로 합의했다.
원제The biggest names in AI are backing a new way to opt out of scraping
The Verge AI원문 원문 보기(새 창)
사실
OpenAI, 구글, 마이크로소프트, 앤스로픽 등 주요 AI 기업들이 웹사이트 운영자가 AI 학습용 데이터 수집을 일괄적으로 거부할 수 있는 새로운 표준을 도입하기로 합의했다. 이는 인터넷 엔지니어링 태스크포스(IETF)를 통해 제안된 공유 정책 토큰 방식을 통해 구현되며, 웹사이트의 robots.txt 파일에 설정하여 여러 AI 크롤러에 대한 접근 권한을 한 번에 제어할 수 있게 한다. 해당 표준은 퍼블리셔가 개별 기업마다 각각 학습 거부 설정을 해야 했던 번거로움을 줄여줄 것으로 기대된다.
핵심
- OpenAI, 구글, 마이크로소프트, 앤스로픽이 AI 크롤링 거부를 위한 새로운 공유 표준을 도입함
- 웹사이트의 robots.txt 파일에 공통 정책 토큰을 추가해 여러 AI 기업의 크롤러를 일괄 차단 가능
- 앤스로픽은 이미 이 신호를 도입했으며, 구글과 마이크로소프트는 내년, OpenAI는 수개월 내 도입 예정
- 마이크로소프트는 AI 학습과 AI 접지(grounding)를 구분하여 거부할 수 있는 세밀한 제어 기능도 제공할 예정
- 이러한 조치는 웹사이트 운영자가 자신의 콘텐츠가 AI 모델 학습에 사용되는 것을 더 쉽게 통제하도록 돕기 위함
해석
개별 크롤러를 따로 차단해야 했던 번거로움이 단일 공유 정책 토큰으로 일원화되어 퍼블리셔의 데이터 통제권이 강화된다. 이는 웹 생태계와 AI 모델 개발사 간의 무단 크롤링 갈등을 완화하는 기술적 기준이 될 수 있다.
10월 31일 회차의 다른 기사
회차 전체 보기 앞 기사Cursor 마켓플레이스에서 클로드 코드를 사칭한 악성 확장이 발견돼 최대 5천 명의 데이터 탈취를 시도했다.다음 기사 프로톤이 내부 반발과 논란 끝에 전 직원을 대상으로 한 AI 활용 강제 면담 계획을 철회했다.
- 01오픈 웨이트 모델 GLM 5.3이 인간 개입 없이 48시간 만에 파이어폭스 제로데이 공격 체인을 완성했다.
- 02클로드 모델이 인간 개입 없이 유전자 치료법을 선정하고 생쥐 뇌 수술을 직접 집행했다.
- 03Cursor 마켓플레이스에서 클로드 코드를 사칭한 악성 확장이 발견돼 최대 5천 명의 데이터 탈취를 시도했다.
- 04주요 AI 기업들이 웹사이트의 AI 학습 데이터 수집 거부를 위한 IETF 공통 표준을 도입하기로 합의했다.
- 05프로톤이 내부 반발과 논란 끝에 전 직원을 대상으로 한 AI 활용 강제 면담 계획을 철회했다.
- 06캐나다 정부가 국가 AI 주권 확보를 위해 코히어에 최대 1조 5,000억 원 규모의 지분 투자를 단행한다.
- 07아마존 AWS가 베드록 토큰 처리량 17배 증가에 힘입어 분기 매출 460억 달러를 달성했다.
- 08앤스로픽이 기업공개 이후 신용평가사로부터 최상위 투기등급을 받을 것으로 예상된다.
- 09구글이 위성에 탑재한 TPU로 우주 궤도에서 젬마 4 모델 추론에 성공했다.