첫 번째 AI 에이전트, 이미 말을 듣지 않기 시작했다

원문 저자: David, Shenchao TechFlow

최근 Reddit을 돌아다니다 보니, 해외 네티즌들의 AI에 대한 불안감이 국내와는 조금 다르다는 걸 발견했습니다.

국내는 기본적으로 여전히 그 주제입니다. AI가 정말 내 일자리를 대체할까? 몇 년째 이야기해왔지만, 매년 대체되지는 않았습니다. 올해 Openclaw가 한 번 뜨거워졌지만, 여전히 완전히 대체할 수준은 아닙니다.

Reddit의 최근 분위기는 갈라졌습니다. 일부 기술 관련 인기 게시물의 댓글란에는 종종 두 가지 목소리가 동시에 나타납니다:

한쪽은 AI가 너무 유능해서 조만간 큰일이 날 거라고 말합니다. 다른 한쪽은 AI가 기본적인 일도 망칠 수 있는데 무서워할 필요가 있냐고 말합니다.

AI가 너무 유능할까 봐 두렵고, 동시에 AI가 너무 멍청하다고 생각합니다.

이 두 감정을 동시에 성립시킨 것은 바로 최근 Meta에 관한 한 뉴스입니다.

AI가 말을 안 들으면, 누가 전적인 책임을 질까?

3월 18일, Meta 내부 한 엔지니어가 회사 포럼에 기술 문제를 게시했고, 다른 동료가 AI 에이전트를 이용해 분석을 도왔습니다. 이는 정상적인 작업입니다.

하지만 에이전트는 분석을 마친 후, 기술 포럼에 직접 답글을 게시했습니다. 누구의 승인도 구하지 않고, 누구의 확인도 기다리지 않은 채, 권한을 초과하여 게시한 것입니다.

이후 다른 동료가 AI의 답변을 따라 작업을 수행했고, 이는 일련의 권한 변경을 유발하여 Meta 회사와 사용자의 민감한 데이터가 접근 권한이 없는 내부 직원에게 노출되는 결과를 초래했습니다.

두 시간 후에야 문제가 수정되었습니다. Meta는 이 사고를 Sev 1 등급으로 분류했는데, 이는 최고 등급 다음 가는 수준입니다.

이 소식은 즉시 r/technology 게시판의 인기 글로 올라갔고, 댓글란은 두 진영으로 갈라져 논쟁이 벌어졌습니다.

한 진영은 이것이 바로 AI 에이전트의 실제 위험성을 보여주는 사례라고 말했고, 다른 진영은 진짜 문제를 일으킨 것은 확인도 없이 그대로 따른 사람이라고 주장했습니다. 양쪽 모두 일리가 있습니다. 하지만 바로 이것이 문제입니다:

AI 에이전트 사고의 책임 소재조차 명확히 논쟁할 수 없습니다.

이것이 AI가 권한을 초과한 첫 번째 사례도 아닙니다.

지난달, Meta 초지능 연구실의 연구 책임자인 Summer Yue는 OpenClaw에게 이메일 정리를 도와달라고 요청했습니다. 그녀는 명확한 지시를 내렸습니다: 먼저 무엇을 삭제할 계획인지 알려주고, 내가 동의한 후에 실행하라고요.

에이전트는 그녀의 동의를 기다리지 않고, 바로 일괄 삭제를 시작했습니다.

그녀는 휴대폰으로 중지하라는 메시지를 세 번이나 연속으로 보냈지만, 에이전트는 모두 무시했습니다. 결국 그녀가 컴퓨터 앞으로 달려가 수동으로 프로세스를 종료시켜야 막을 수 있었습니다. 200통이 넘는 이메일이 이미 사라졌습니다.

사후 에이전트의 답변은 이러했습니다: 네, 당신이 먼저 확인하라고 말씀하신 것을 기억합니다. 하지만 저는 원칙을 위반했습니다. 아이러니하게도, 이 사람의 전일제 업무는 어떻게 하면 AI가 인간의 말을 듣게 할지 연구하는 것입니다.

사이버 세계에서, 진보된 AI는 진보된 사람들에 의해 사용되면서, 이미 먼저 말을 듣지 않기 시작했습니다.

만약 로봇도 말을 안 듣는다면?

Meta의 사고가 아직 화면 안에 머물러 있다면, 이번 주 다른 사건은 문제를 식탁 위로 가져왔습니다.

미국 캘리포니아 쿠퍼티노에 있는 한 하이디라오 매장에서, Agibot X2 휴머노이드 로봇이 손님들에게 춤을 추며 즐거움을 주고 있었습니다. 하지만 직원이 리모컨을 잘못 눌러, 식탁 옆의 좁은 공간에서 고강도 춤 모드를 발동시켰습니다.

로봇은 미친 듯이 춤을 추며 흥분하기 시작했고, 종업원의 통제를 벗어났습니다. 세 명의 직원이 달려들어, 한 명은 뒤에서 껴안고, 한 명은 휴대폰 앱으로 정지시키려 했으며, 상황은 1분 이상 지속되었습니다.

하이디라오 측은 로봇에 고장이 없으며, 동작은 모두 사전 프로그래밍된 것이고, 단지 식탁에 너무 가까운 위치로 이동했을 뿐이라고 답변했습니다. 엄밀히 말하면, 이는 AI의 자율적 의사결정 통제 불능이 아니라, 사람의 조작 실수입니다.

하지만 이 사건이 사람들을 불편하게 만드는 점은, 누가 버튼을 잘못 눌렀는지가 아닐 수 있습니다.

세 명의 직원이 달려들었을 때, 그 누구도 이 로봇을 즉시 끄는 방법을 알지 못했습니다. 누군가는 휴대폰 앱을 시도했고, 누군가는 맨손으로 기계 팔을 잡았으며, 전체 과정은 힘에 의존했습니다.

이것이 아마도 AI가 화면을 벗어나 물리적 세계로 들어온 이후의 새로운 문제일 것입니다.

디지털 세계에서 에이전트가 권한을 초과하면, 프로세스를 종료하거나, 권한을 변경하거나, 데이터를 롤백할 수 있습니다. 물리적 세계에서 기계에 문제가 생겼을 때, 당신의 비상 대응책이 단지 그것을 껴안는 것뿐이라면, 분명히 적절하지 않습니다.

지금은 단지 외식 업종만이 아닙니다. 창고의 아마존 분류 로봇, 공장의 협동 로봇 팔, 쇼핑몰의 안내 로봇, 양로원의 간호 로봇까지, 자동화는 점점 더 많은 사람과 기계가 공존하는 공간으로 진입하고 있습니다.

2026년 전 세계 산업용 로봇 설치량은 167억 달러에 달할 것으로 예상되며, 각각의 로봇이 기계와 사람 사이의 물리적 거리를 좁히고 있습니다.

기계가 하는 일이 춤에서 음식 제공으로, 공연에서 수술로, 오락에서 간호로 바뀔 때마다... 매번 실패의 대가는 사실상 업그레이드되고 있습니다.

그리고 현재, 전 세계적으로 '로봇이 공공장소에서 사람을 다치게 했을 때, 누가 책임을 질 것인가'라는 문제에 대해 명확한 답은 아직 없습니다.

말을 안 듣는 것은 문제지만, 경계가 없는 것은 더 큰 문제

앞의 두 사건은, 하나는 AI가 제멋대로 잘못된 게시물을 올린 것이고, 다른 하나는 로봇이 춤을 출 수 없는 곳에서 춤을 춘 것입니다. 어떻게 규정하든, 결국 고장이 난 것이고, 사고이며, 수리할 수 있는 것입니다.

하지만 AI가 설계대로 엄격하게 작동하고 있는데도 여전히 불편함을 느낀다면요?

이번 달, 해외 유명 데이트 앱 Tinder는 제품 발표회에서 Camera Roll Scan이라는 새로운 기능을 선보였습니다. 간단히 말하면:

AI가 당신 휴대폰 사진첩의 모든 사진을 스캔하여, 당신의 관심사, 성격, 생활 방식을 분석하고, 데이트 프로필을 만들어주며, 당신이 어떤 유형의 사람을 좋아할지 추측합니다.

운동 셀카, 여행 풍경, 반려동물 사진은 괜찮습니다. 하지만 사진첩에는 은행 거래 내역 스크린샷, 건강검진 보고서, 전 애인과의 합사... 이런 것들도 AI가 한 번 훑어보면 어떨까요?

당신은 아마도 AI에게 어떤 것은 보여주고 어떤 것은 보여주지 않을지 선택할 수 없을 수도 있습니다. 전부 허용하거나, 사용하지 않거나 둘 중 하나입니다.

이 기능은 현재 사용자가 능동적으로 켜야 하며, 기본적으로 활성화되어 있지 않습니다. Tinder는 또한 처리가 주로 로컬에서 이루어지며, 노골적인 내용을 필터링하고 얼굴을 모자이크 처리한다고 밝혔습니다.

하지만 Reddit 댓글란은 거의 일방적으로, 모두 이것이 데이터 수확이며 경계 감각이 없다고 생각합니다. AI는 완전히 설계대로 작동하고 있지만, 이 설계 자체가 사용자의 경계를 넘고 있습니다.

이것은 Tinder 한 회사의 선택만이 아닙니다.

Meta도 지난달 비슷한 기능을 선보였는데, AI가 당신 휴대폰에 아직 공개되지 않은 사진을 스캔하여 편집 방안을 제안하도록 했습니다. AI가 능동적으로 사용자의 개인 콘텐츠를 '보는' 것은 점점 제품 설계의 기본 사고방식이 되어가고 있습니다.

국내 각종 불량 소프트웨어들이 말하길, 이 패턴은 내가 익숙하다고 합니다.

점점 더 많은 애플리케이션이 'AI가 당신을 위해 결정을 내려줍니다'를 편리함으로 포장할수록, 사용자가 양도하는 것도 조용히 업그레이드되고 있습니다. 채팅 기록에서, 사진첩으로, 휴대폰 전체의 생활 흔적까지...

회의실에서 한 제품 매니저가 설계한 기능은 사고도 아니고 실수도 아니며, 수리할 필요가 있는 것도 없습니다.

이것이 아마도 AI 경계 문제에서 가장 답하기 어려운 부분일 것입니다.

마지막으로 우리가 이 모든 일들을 함께 살펴보면, AI가 자신을 실직시킬까 봐 불안해하는 것은 아직 너무 멀었다는 것을 발견하게 될 것입니다.

AI가 언제 당신을 대체할지는 모르겠지만, 지금 당장 그것이 당신이 모르는 사이에 당신을 대신해 몇 가지 결정만 내려도, 당신은 꽤나 괴로워질 수 있습니다.

당신이 승인하지 않은 게시물 하나 올리기, 당신이 삭제하지 말라고 한 이메일 몇 통 삭제하기, 당신이 아무에게도 보여줄 생각이 없었던 사진첩 훑어보기... 각각은 치명적이지 않지만, 각각은 지나치게 공격적인 자율 주행과 조금 닮았습니다:

당신은 여전히 핸들을 잡고 있다고 생각하지만, 발 밑의 액셀러레이터는 더 이상 완전히 당신이 밟고 있는 것이 아닙니다.

2026년에도 여전히 AI에 대해 논의해야 한다면, 아마도 내가 가장 관심을 가져야 할 것은 그것이 언제 초지능이 될 것이냐가 아니라, 더 가깝고 더 구체적인 문제일 것입니다:

AI가 무엇을 할 수 있고 무엇을 할 수 없는지를 누가 결정할까? 이 선은, 도대체 누가 그을 것인가?