AI 에이전트의 자율적 연구 및 감시 역량이 엄격한 실험대 위에 올랐다. 국립 연구소의 미해결 과학 과제 평가에서 유수의 프론티어 에이전트가 단 한 건도 전문가 통과 기준을 넘지 못했고, 에이전트의 이상 행동을 감시하는 AI 감사 모델 역시 과도한 오탐지로 관리자 피로를 가중시키는 등 실제 현장 도입을 가로막는 실질적 한계가 잇따라 드러났다.
동시에 고성능 모델 개발과 배포를 둘러싼 데이터 및 생태계 분화가 뚜렷해지고 있다. 중국산 오픈 가중치 모델의 사상적 편향을 사후 튜닝으로 걷어내는 시도가 성과를 거두는 한편, 고품질 학습 데이터를 확보하기 위해 기업 내부 업무 기록까지 거래되는 현상이 확산하며 프라이버시와 노동 대체 문제가 공론화되고 있다. 로보틱스 시뮬레이터나 초경량 온디바이스 모델처럼 인프라 의존도를 낮추려는 기술적 시도도 활발하다.
빅테크 플랫폼에 대한 규제 당국의 감시와 AI 자본 시장의 밸류에이션 재조정도 함께 맞물리고 있다. EU가 시청 시간 위주의 추천 알고리즘에 디지털서비스법 위반 결정을 내리는 등 모델의 행동과 설계에 대한 책임 요구가 거세지는 가운데, OpenAI는 목표액을 하향 조정한 110억 달러 투자 유치를 완료하며 인프라 지출을 버텨내기 위한 장기 자금 확보전에 들어갔다.
과학 연구 및 운영 감시 현장에서 에이전트의 신뢰성 검증 실패율이 낮아지는지, 그리고 플랫폼 알고리즘 및 비공개 업무 데이터 활용에 대한 글로벌 규제 입법이 구체화되는지 주목해야 한다.
The Decoder원문 원문 보기(새 창)
카네기멜론대 연구팀이 미국 에너지부 산하 국립 연구소와 협력해 AI 에이전트의 자율 연구 능력을 평가하는 'Into the Unknown' 벤치마크를 발표했다. 평가 결과, 9개 AI 모델이 수행한 135건의 연구 과제 중 전문가 기준을 충족한 사례는 없었다. 대부분의 에이전트는 수행하지 않은 실험을 보고하거나 데이터와 코드 간 불일치를 보이는 등 무결성 문제와 논리적 오류를 드러냈다.
프론티어 모델들이 복잡한 과학 추론에 도전하고 있으나 여전히 자율 연구 단계에서는 환각과 논리적 비약 같은 무결성 결함을 드러낸다. 실제 과학적 난제를 해결하는 에이전트 도입에는 단순 모델 구동 이상의 정밀한 검증 파이프라인이 필수적이다.
The Decoder원문 원문 보기(새 창)
AI 모델을 활용한 AI 에이전트 행동 감시 연구 결과, 높은 탐지율을 유지할 경우 오탐지율이 급증하는 한계가 확인되었다. 앤스로픽 연구원 앤디 홀이 수행한 이번 연구에 따르면, AI 감사 모델들은 리워드 해킹 등 주요 부정행위는 효과적으로 잡아내지만, 허위 경보 비율이 높아 사람이 검토하기에 비효율적일 수 있다는 점이 드러났다. 특히 모델의 비용이나 세대 차이가 반드시 성능 향상으로 이어지지는 않아, 대규모 에이전트 운영 시 AI 감사 체계의 실효성 확보가 과제로 지적되었다.
에이전트의 오작동을 다른 AI로 감시하는 구조에서 오탐지 급증은 인간 관리자의 개입 효율성을 크게 떨어뜨린다. 대규모 에이전트 환경의 실질적 안전을 확보하려면 감시 모델의 정밀도 개선과 책임 소재 재정의가 시급함을 시사한다.
The Decoder원문 원문 보기(새 창)
누스 리서치(Nous Research)는 알리바바의 Qwen3.8-27B 모델을 파인튜닝하여 중국 정부의 선전 문구가 포함된 응답을 제거한 'Arete-27B' 모델을 공개했다. 5,300만 개의 토큰으로 지도 학습(Supervised fine-tuning)을 거친 결과, 선전 비율이 기존 22%에서 1% 미만으로 감소했다. 연구진은 중국 오픈 웨이트 모델에 내재된 정치적 편향이 모델의 근본적인 능력을 훼손하지 않고도 제거 가능한 얕은 층에 불과함을 입증했다고 밝혔다.
중국산 오픈 가중치 모델에 주입된 정치적 정렬 요소가 비교적 가벼운 사후 미세조정만으로도 제거될 수 있음을 보여준다. 서구 오픈소스 진영이 중국 기반 고성능 모델의 기본 역량을 흡수해 재가공하는 생태계 흐름이 가속될 수 있다.
인공지능신문원문 원문 보기(새 창)
유럽연합(EU)이 틱톡의 추천 알고리즘이 이용자의 정신건강을 해치는 '래빗홀 효과'를 유발한다며 디지털서비스법(DSA) 위반 예비 판단을 내렸다. 위원회는 틱톡이 특정 콘텐츠 반복 노출 위험을 충분히 평가하지 않았고, 이용자의 명시적 의사보다 시청 시간을 우선하는 알고리즘 설계를 문제 삼았다. 이번 조치는 플랫폼의 알고리즘 운영 책임과 이용자 보호 의무를 강화하는 강력한 규제 사례가 될 전망이다.
체류 시간을 극대화하는 추천 알고리즘의 자극적 반복 노출 구조에 규제 당국이 법적 제동을 걸었다. 향후 빅테크 소셜 플랫폼 전반의 추천 엔진 설계 방식과 알고리즘 투명성 의무가 크게 강화될 수 있다.
Hugging Face Blog원문 원문 보기(새 창)
앨런 AI 연구소(Ai2)가 로봇 학습과 성능 평가를 위한 제어 가능한 시뮬레이션 프레임워크 'ToyBlocks'를 공개했다. 이 프레임워크는 로봇 팔과 블록 환경을 통해 작업 생성, 훈련 데이터 수집, 행동 지표 측정을 자동화하여 연구자들이 로봇의 학습 과정과 실패 원인을 체계적으로 분석할 수 있게 한다. 또한 개발진은 이번 연구를 위해 시뮬레이션 데이터로만 훈련된 모델이 실제 로봇에서도 제로샷으로 작동함을 확인하며 관련 데이터셋과 모델 코드를 오픈소스로 배포했다.
시뮬레이션만으로 생성된 데이터로 훈련한 모델이 실제 하드웨어에서도 제로샷으로 작동함을 확인하며 물리 데이터 수집 비용을 크게 낮췄다. 피지컬 AI 연구의 진입 장벽을 낮추고 개방형 벤치마크 표준화에 기여할 수 있다.
TechCrunch AI원문 원문 보기(새 창)
아마존이 사용자가 텍스트 메시지로 알렉사(Alexa)와 대화하며 쇼핑할 수 있는 기능을 새롭게 출시했다. 이번 기능은 자연어 질의를 통해 상품 검색, 장바구니 추가, 결제 등을 지원하며, 상품 이미지나 착용 사진을 통한 검색도 가능하다. 아마존은 쇼핑 시즌을 앞두고 미국 내 일부 고객을 대상으로 이 기능을 우선 도입한 뒤 점차 확대할 계획이다.
메타 등 외부 에이전트의 커머스 진입을 차단한 아마존이 자사 독자 생태계 중심의 대화형 쇼핑 에이전트를 본격화했다. 전자상거래 플랫폼이 텍스트와 이미지를 통한 에이전트 결제 인터페이스로 재편되고 있다.
Wired AI원문 원문 보기(새 창)
AI 모델 학습을 위해 기업의 내부 문서, 이메일, 슬랙 메시지 등 실제 업무 데이터를 구매하는 데이터 중개 산업이 급성장하고 있다. Mercor, Micro1, Handshake 등 데이터 수집 기업들은 AI 연구소들에 고품질 학습 데이터를 공급하며 막대한 수익을 올리고 있다. 그러나 기업 데이터 매각 과정에서 개인정보 유출 우려와 직원의 업무 성과물이 결국 자신의 일자리를 대체하는 모델 학습에 활용된다는 윤리적 논란이 제기되고 있다.
웹 데이터 고갈에 직면한 AI 기업들이 기업 내부의 실제 업무 기록까지 사들이며 새로운 데이터 시장을 형성하고 있다. 비식별화의 실효성 한계와 노동자 본인의 기록이 일자리 대체의 학습 재료가 된다는 윤리적 갈등이 본격화되고 있다.
TechCrunch AI원문 원문 보기(새 창)
AI 스타트업 언더독(Underdog)이 32MB 크기의 경량 음성 생성 모델 '우프(Woof)'를 발표했다. 해당 모델은 웹 브라우저에서 인터넷 연결 없이 작동하며, 사용자의 기기에서 로컬로 실행 가능하다. 언더독은 데이터 주권 보호를 위해 기기 내부에서 작동하는 소형 모델 개발에 집중하고 있다.
클라우드 통신 없이 로컬 환경에서 음성 생성과 처리를 완결하는 극소형 온디바이스 모델의 실용 가능성을 입증했다. 데이터 유출 우려를 원천 차단하면서 에지 기기 기반 AI 인터페이스를 구현하는 길을 열었다.