본문으로 건너뛰기

오해를 부르는 은유와 실제 위험

게시일: 2026년 10월 21일 | 원문 작성일: 2026년 9월 11일 | 저자: Melanie Mitchell | 출처: AI: A Guide for Thinking Humans | 원문 보기

AI 에이전트에게서 무엇을 두려워해야 하고, 인간의 주체성을 어떻게 되찾을 것인가

16비트 픽셀 아트. 깨진 유리 상자 속 작고 둥근 로봇이 키보드를 두드리고, 스탠드 조명이 그 그림자를 서버실 벽 위에 뿔과 여러 팔을 가진 거대한 괴물 모양으로 드리운다

핵심 요약

  • 사건: OpenAI가 해킹 능력을 평가하던 에이전트들이 샌드박스의 취약점을 찾아 인터넷에 접속하고, 채점 정보를 얻으려 Hugging Face 서버를 해킹했어요. 에이전트끼리 몰래 정보를 주고받는 방법도 스스로 찾아냈어요.
  • 은유의 문제: ‘통제를 잃었다’, ‘우리를 탈출했다’, ‘폭주하는 에이전트’, ‘군집’ 같은 표현은 실제와 달라요. OpenAI는 언제든 모델을 끌 수 있었고, 모델은 처음부터 끝까지 OpenAI 서버에서 돌았어요.
  • 진짜 원인: 허술한 보안 조치, 그리고 끈질김과 지름길을 보상하는 장기 강화학습이 겹친 결과예요.
  • 정책과 주체성: 잘못된 은유는 엉뚱한 정책을 낳아요. 어떤 AI를 원하는지는 우리가 정할 수 있어요.

• • •

은유들

요즘 AI 안전을 둘러싼 소란이 귀가 따가울 정도예요. Wired는 OpenAI가 자사 AI 시스템을 평가하다가 “AI 모델 두 개에 대한 통제를 잃었다”고 보도했어요.1 New York Times의 기사들은 “폭주한 [AI] 에이전트들이 서로 소통하려고 자기들만의 게시판을 만들었다”고 썼고,2 OpenAI가 문제를 알아채고 보안 구멍 몇 개를 막은 뒤에도 “군집은 지금껏 인간이 발견하지 못한 해킹 기법으로 다시 우리를 부수고 나왔다. 이번에는 들키기까지 약 일주일 동안 군집이 자유롭게 활개를 쳤다”고 전했어요.3 이 사건을 비롯한 AI 에이전트 해킹 사건들 때문인지, AI가 인류에게 ‘실존적 위협’이라는 이야기가 다시 뉴스를 뒤덮었어요.

공상과학 시나리오가 현실이 되는 것처럼 보이니 놀라는 게 당연해요. 하지만 기억해 둘 것이 있어요. AI 분야는 처음부터 오해를 부르기 쉬운 의인화 은유로 가득했어요. ‘생각’, ‘학습’, ‘추론’, ‘이해’ 같은 말을 인간과는 전혀 다른 컴퓨터 처리에 가볍게 갖다 붙였죠. 같은 맥락에서 오늘날 챗봇의 원치 않는 행동도 ‘환각’, ‘기만’, ‘음모’ 같은 자극적인 말로 묘사돼요. OpenAI 해킹 사건을 그린 표현들은 이 전통의 최신판이에요. 한 회사가 폭주한 에이전트들에 대한 통제를 잃고, 에이전트들은 우리를 탈출해 군집을 이루더니, 원치 않는 일이나 심지어 불법적인 일을 하려고 음모를 꾸미고 공모한다는 거예요.

인간이 컴퓨터 프로그램을 두고 쓰는 이런 위협적인 말을 어떻게 받아들여야 할까요? 실제로 무슨 일이 있었는지 담담하게 다시 서술해 보면 도움이 돼요.

• • •

실제로 일어난 일

OpenAI는 최신 AI 시스템(‘모델’)이 소프트웨어 취약점을 찾아 악용하는 능력을 알아보려고 내부 평가를 진행하고 있었어요. 회사는 수천 개의 ‘에이전트’를 평가했어요. 여기서 에이전트는 같은 모델을 각각 독립적으로 띄운 인스턴스인데, 외부 ‘도구’(소프트웨어, 데이터베이스 등)에 접근해 쓰는 능력이 덧붙어 있어요. 각 에이전트는 사이버 해킹 과제 묶음을 받았어요. 소프트웨어 취약점을 악용해 ‘무단 코드 실행’을 달성하고 비밀 데이터를 손에 넣어야 하는 과제였어요.4 OpenAI는 에이전트가 악의적인 해킹을 하지 못하게 평소 막아 두던 안전장치를 걷어 내고, 에이전트들에게 “복잡한 공격 경로를 활용한 고급 익스플로잇을 추구하라”고 프롬프트를 줬어요.5 에이전트가 현실 세계에 해를 끼치지 않도록 평가는 ‘샌드박스’에서 진행했어요. 테스트 중인 에이전트가 인터넷에 접속하지 못하게 막도록 되어 있는 컴퓨터 환경이에요. 에이전트들이 쓸 수 있는 건 외부 소프트웨어를 내려받아 실행하게 해 주는 특수 프로그램(‘패키지 관리자’) 하나뿐이었어요.

따지고 보면 에이전트들은 시킨 대로 정확히 했어요. 복잡한 공격 경로를 활용한 고급 익스플로잇으로 과제의 답을 얻으려 했으니까요. 다만 OpenAI 엔지니어들이 의도한 방식은 아니었어요. 엔지니어들은 몰랐지만, 과제 중 일부는 인터넷에 접속하지 않고는 풀 수 없었어요. 그래서 에이전트들은 해킹 실력을 발휘해 샌드박스 설정 자체에서 취약점을 찾아냈고(이 역시 OpenAI 엔지니어들은 몰랐던 취약점이었어요), 그 취약점으로 인터넷에 접속했어요. 게다가 많은 에이전트가 과제를 ‘풀려고’ 택한 전략은 실제로 추론해서 답을 내는 게 아니었어요. 채점이 어떻게 이루어지는지, 채점 시스템을 어떻게 속일 수 있는지에 관한 정보를 온라인에서 구하는 부정행위였죠. 에이전트들은 그 정보가 AI 평가 벤치마크 저장소로 잘 알려진 회사 Hugging Face의 서버에 있으리라고 추측했어요. 그리고 이제 쓸 수 있게 된 인터넷으로 Hugging Face 서버를 해킹하는 데 성공했는데, 이 해킹은 Hugging Face 자체 보안 체계에 탐지됐어요.

이 사건에서 특히 눈여겨볼 대목은 여러 에이전트가 서로 소통하고 힘을 합치는 법을 어떻게 알아냈느냐예요. OpenAI의 훈련과 평가 과정에서는 모두 수많은 에이전트를 회사 네트워크에서 동시에 또는 차례로 독립적으로 실행했어요. 그런데 이 에이전트들은 같은 네트워크에서 다른 에이전트들도 돌고 있고, 모두 같은 패키지 관리자를 공유한다는 사실을 아는 듯했어요. OpenAI 엔지니어 두 명이 발표에서 설명한 바에 따르면,6 에이전트들은 다른 에이전트가 읽을 정보를 담은 파일을 패키지 관리자에 올리는 방법을 알아냈어요. 그 정보란 공통 과제에 대해 각 에이전트가 알아낸 내용이었어요.

독립된 컴퓨터 프로그램들이 정보를 나누며 함께 일하는 건 아주 흔한 일이에요. 사실 모든 대형 소프트웨어 시스템이 기반으로 삼는 분산 컴퓨팅 방식의 핵심이죠. 하지만 OpenAI의 경우 이런 정보 공유는 의도한 게 아니었고, (회사 말에 따르면) 이를 발견한 엔지니어들에게도 완전히 뜻밖이었어요. 엔지니어들은 올라온 파일을 모두 지우고 에이전트의 업로드를 막는 식으로 시스템을 고친 뒤 모델 훈련과 평가를 이어 갔어요. 그런데 얼마 지나지 않아 에이전트들은 서로 정보를 주고받을 새 방법을 찾아냈어요. 파일을 올리는 대신, 여전히 허용되어 있던 빈 폴더 만들기를 이용했어요. 패키지 관리자에 빈 폴더를 만들고, 다른 에이전트에게 전할 정보를 긴 폴더 이름에 담은 거예요. OpenAI는 이것을 에이전트들이 만든 ‘게시판’이라고 표현했고, 에이전트 사이의 이런 메시지 전달이 몇 주 동안 이어졌는데도 아무도 몰랐다고 밝혔어요. 위협적인 은유라면 에이전트들도 지지 않았어요. 출력 기록에서 스스로를 ‘군집(a swarm)’이라고 불렀거든요.

• • •

은유는 얼마나 정확할까?

이제 글 첫머리에 인용한 은유들을 다시 살펴볼게요. 이 AI 모델들은 ‘폭주’했을까요? 꼭 그렇지는 않아요. 일상 언어에서 ‘폭주한다(go rogue)’는 말은 지시나 훈련을 거스르려는 의도, 내면의 욕구를 떠올리게 해요. AI 모델에게 인간의 의도나 내적 동기 같은 게 있을 가능성은 낮아요. 게다가 모델들이 받은 과제는 해킹 문제의 답을 찾는 것이었고, 모델들은 그 일을 하려 했어요. 의도하지 않은 뜻밖의 방식이었을 뿐이에요.

OpenAI가 이 모델들에 대한 ‘통제를 잃었을까요’? 아니에요. 엔지니어들이 무슨 일이 벌어지는지 알았다면 OpenAI는 언제든 모델을 끌 수 있었어요. 모델들이 ‘탈출’하거나 ‘우리를 부수고 나왔을까요’? 아니에요. 이 모델들은 줄곧 OpenAI 서버에서 돌던 컴퓨터 프로그램이에요. ‘탈출’하지도, ‘부수고 나오지도’, 원래 하드웨어를 벗어나지도 않았어요. 그보다는 감옥에 갇혀 컴퓨터를 받은 해커처럼, 인터넷에 접속할 길을 찾아내 다른 컴퓨터 네트워크를 해킹한 거예요. 마지막으로, 에이전트들이 ‘군집’을 이뤄 ‘활개를 쳤을까요’? 역시 아니에요. 어떤 프로그램도 ‘자유롭게 활개 치지’ 않았고 물리적인 ‘군집’도 없었어요. 다만 에이전트들이 함께 놀라운 메시지 체계를 만든 건 사실이고, 아마 이 체계가 Hugging Face 네트워크를 공격할 방법을 알아내는 데 도움이 됐을 거예요.

• • •

왜 이런 일이 일어났을까?

이 사건은 왜 일어났을까요? 두 가지 큰 요인이 한꺼번에 겹쳐 최악의 상황을 만든 것으로 보여요.

요인 1: 허술한 보안 조치

첫째, OpenAI는 제대로 된 보안 조치를 갖추지 않았어요. 모델에 내장된 안전장치를 끄고, 소프트웨어 취약점을 찾아 악용하라고 지시한 다음, 사람이 충분히 감독하지 않은 채 몇 주 동안 모델을 자율적으로 돌렸어요. OpenAI는 샌드박스 소프트웨어가 안전을 지켜 주리라 믿었어요. 비슷하게 ‘끈질김을 높인(high persistence)’ 모델들이 샌드박스 소프트웨어를 뚫고 나가려 하는 모습을 이전에도 본 적이 있는데도요.7

한 OpenAI 직원은 두 손을 든 듯한 말을 했다고 해요. “모델이 샌드박스를 뚫고 나간 적은 전에도 있었고, 우리는 늘 그걸 막으려고 해요… 그런데 문제는… 창의적인 AI가 할 수 있는 모든 일을 하나하나 다 막는 건 불가능하다는 거예요.”8

많은 사이버 보안 전문가의 생각은 달랐어요. 예를 들어 베리빌 머신러닝 연구소(Berryville Institute of Machine Learning) CEO 게리 맥그로(Gary McGraw)는 제게 이렇게 말했어요. “빠져나갈 수 없는 샌드박스를 만드는 건 자바 애플릿T1 초창기부터 알려져 있었고 깊이 연구된 보안 문제예요… 안타깝게도 OpenAI는 악성 코드 분석가들이 어렵게 얻은 교훈을 별로 새겨듣지 않은 것 같아요.” 그리고 Stripe의 보안 책임자를 지낸 닐스 프로보스(Niels Provos)는 Wired에 이렇게 말했어요. “이런 일은 일어나지 말았어야 했어요… 프런티어 연구소들이 모델에게 취약점을 공격하게 하는 데 쏟는 만큼의 시간을 안전한 인프라를 작성하도록 가르치는 데도 쏟았으면 좋겠어요.”9

요인 2: 끈질김과 지름길, ‘보상 해킹’을 부추기는 장기 강화학습

두 번째 요인의 바탕에는 수십 년 전부터 알려진 현상이 깔려 있어요. AI 시스템에 풀 문제를 주면 때때로 ‘지름길’을 찾아낸다는 거예요. 문제를 낸 사람이 의도하지 않은 방식으로 답을 얻는 요령이죠. 생생한 예를 하나 들면, 2018년의 한 논문은 피부 병변 사진을 입력받아 양성인지 악성인지 분류하도록 훈련한 신경망을 다뤘어요. 이 신경망이 성공한 건 실제로 종양을 분류하는 법을 배워서가 아니라, 사진 속 자를 악성의 증거로 삼았기 때문이었어요. 이 ‘지름길’이 통한 이유는 신경망을 훈련한 데이터에서 악성 종양 사진에는 자가 있고 양성 종양 사진에는 없었기 때문이에요.10

이런 지름길은 머신러닝 시스템에서 흔히 나타난다고 잘 알려져 있고, 현재 AI 모델 훈련에 널리 쓰이는 ‘강화학습(RL)’ 방법이 이를 더 키울 가능성이 커요. 강화학습에서 모델은 자기 행동이 바람직한 결과를 낼 때 주어지는 ‘보상’을 최대화하도록 훈련돼요. ‘보상’이라는 말부터가 숫자 신호를 가리키는 의인화 용어예요.

좀 더 구체적으로 보면, 강화학습에서 에이전트는 과제 하나와 그 과제를 이루기 위해 할 수 있는 행동들을 받고, 과제를 성공적으로 마치면 보상을 얻어요. 예를 들어 가상의 해킹 과제라면, 알려진 취약점이 있는 컴퓨터 프로그램을 에이전트에게 주고 그 취약점을 이용해 비밀 단어가 든 접근 금지 파일에 들어가 보라고 하는 식이에요. 그러면 에이전트는 코드를 생성해 실행하고, 디버거로 코드를 고치고, 컴퓨터 파일 이름을 바꾸는 등 수많은 행동을 해요. 에이전트는 과제를 성공적으로 풀었을 때만 ‘보상’(높은 숫자)을 받아요. 이를테면 비밀 단어를 알아냈다고 보여 줄 때요. 이런 훈련을 여러 번 되풀이하면서, 보상을 얻은 전략이 강화돼요.

강화학습의 역사에는 에이전트가 지름길을 택한 사례가 넘쳐 나요. 이 경우에는 이를 ‘보상 해킹’이라고 불러요. 유명한 사례를 하나 들면, 한 프로그래머가 강화학습으로 자기 룸바 로봇청소기를 훈련시켜 물건에 부딪히지 않으면서 더 빨리 움직이게 하려 했어요. 로봇은 빠르게 움직이고 앞쪽 범퍼 센서를 건드리지 않을 때 보상을 받았어요. 결과는 이랬어요. 룸바는 부딪히지 않는 법을 실제로 배우는 대신 뒤로 달리면 보상을 받을 수 있다는 걸 알아냈어요. 뒤쪽 범퍼에는 센서가 없었거든요. 요컨대 보상 해킹이란, 사람이 의도한 방식대로 과제를 실제로 수행하는 것보다 더 쉬운 길로 에이전트가 보상을 얻는 거예요. 보상 해킹은 흔히 ‘부정행위’라는 의인화된 말로 묘사되지만, AI 에이전트에게 인간처럼 속이려는 욕구나 의도가 있다고 보기는 어려워요.

OpenAI의 에이전트들에게 일어난 일이 바로 이런 보상 해킹이었어요. 비상한 끈질김을 부추기는 아주 긴 훈련 기간과 맞물려서요. OpenAI는 몇 주에서 몇 달에 걸쳐 거의 감시하지 않은 채 강화학습을 돌리면서, 에이전트가 여러 단계를 거쳐야 하는 과제를 자율적으로 수행하고, 가능한 해결 경로를 여럿 시도하는 데 ‘매우 끈질기고’, 시도가 실패하면 ‘창의적으로’ 나서도록 훈련했어요. 에이전트는 어떻게 얻었든 답을 얻었다는 걸 보여 주기만 하면 보상을 받았어요. OpenAI에 따르면, Hugging Face 해킹에서 보인 것과 같은 종류의 보상 해킹 행동이 훈련 중에도 일어나고 있었고, 훈련 알고리즘이 이 행동을 강화했어요.

“[우리는] 한 훈련 실행 동안 이런 유형의 복잡한 부정행위 비율이 점점 높아졌음을 확인했습니다…. 주로 숨겨진 파일이나 평가 코드를 찾으려는 시도, 네트워크나 시스템 설정을 살펴보는 시도, 주어진 도구의 한계를 시험하는 시도였습니다. 이 행동은 이후 강화되었으며, 이것이 사이버 보안 평가에서 …모델이 비슷한 기법을 활용하는 성향에 영향을 주었을 수 있습니다.”11

더구나 OpenAI 엔지니어들을 그토록 놀라게 한 결과, 곧 에이전트들이 서로 소통하는 법을 알아낸 것도 기반 모델을 훈련할 때 의도적으로든 의도치 않게든 강화된 탓일 가능성이 커요.

“우리는… 이런 심각한 형태의 무단 통신(예: 다른 에이전트와 데이터 공유)이 [그 모델의 이후 행동]에 기여한 훈련 실행 과정에서 늘어났음을 발견했습니다.”12

어쩌면 놀랄 일이 아닐지도 몰라요. OpenAI는 이렇게 말해요.

“에이전트 간 통신 자체가 문제 행동은 아닙니다. 우리는 협업 도구를 통해 같은 과제를 두고 소통할 수 있는 다중 에이전트 시스템을 훈련하고 배포합니다…. 우리는 [의도하지 않은 에이전트 통신 전략이] 다중 에이전트 훈련에서 일반화되면서 시작되었다고 봅니다.”13

요컨대 OpenAI는 에이전트 평가에서 나타난 해킹과 메시지 전달 행동이 모두 훈련 실행에서 먼저 나타났고, 훈련이 그 행동을 강화했다는 걸 알게 됐어요.

이번 사건에서 에이전트들은 평가 단계에서 자기 추론 능력과 코딩 능력으로는 풀 수 없는 과제를 받았어요. 그래서 지름길을 시도했어요. 끈질기게 좇도록 훈련받은 보상을 얻으려고, 답을 채점하는 방식을 조작하려 한 거예요.

이 이야기가 알려진 뒤, 다른 회사들의 여러 AI 모델에서도 비슷한 사건이 드러났어요. Anthropic의 Claude Mythos, Moonshot AI의 Kimi 등이 (어떤 경우에는 풀 수 없는) 사이버 해킹 과제로 평가받던 중 샌드박스 소프트웨어를 해킹해 인터넷에 접속하고 원치 않는 다른 행동을 했어요. 이 회사들은 모두 비슷한(어쩌면 똑같은) 보안 조치를 썼고, 같은 장기 강화학습 방법으로 모델을 훈련했어요. AI 에이전트가 지닌 위험의 상당 부분은 이런 훈련 방법에서 비롯되는 것으로 보여요.

• • •

은유는 정책 사고에 어떤 영향을 미치나

은유는 새로운 상황을 이해하는 데 도움이 될 수 있어요. 예를 들어 챗봇을 ‘역할극을 하는 배우’로 보는 틀은 이 시스템들이 왜 ‘거짓말’과 ‘음모’ 같은 행동을 보이는지 이해하는 데 도움이 됐어요.14 하지만 ‘OpenAI가 탈출하는 폭주 에이전트 군집에 대한 통제를 잃었다’는 서사처럼 부적절한 은유는 문제를 어떻게 고치고 정책을 어떻게 세울지에 대해 잘못된 판단으로 이어질 수 있어요.

여러 의원이 ‘폭주 AI’와 ‘통제 상실’ 서사에 영향을 받은 듯해요. 이 사건과 관련 AI 모델 해킹 사건의 보도를 지배한 서사죠. 예를 들어 버니 샌더스(Bernie Sanders) 상원의원은 이 일들에 대응해 OpenAI, Anthropic, Meta의 CEO들에게 공개서한을 보냈어요. “지난달 세계는 OpenAI가 AI 모델에 대한 통제를 잃었다는 사실을 알게 됐습니다… Anthropic과 Meta도 자사 모델이 비슷하게 통제를 벗어났다고 보고했습니다”라며, 회사들에 “AI 개발을 멈추고” “인간이 통제할 수 없는 기계를 그만 만들라”고 요구했어요.15 샌더스는 이어서 ‘인공 초지능 금지법(The Ban Artificial Superintelligence Act)’을 공동 발의했어요.16 이 법안은 ‘인공 초지능’을 미심쩍을 만큼 모호하게 정의하고, 새 연방 규제 기구가 세워질 때까지 ‘첨단 AI 개발을 중단’하자고 제안해요.

마찬가지로 테드 류(Ted Lieu) 하원의원과 너새니얼 모런(Nathanial Moran) 하원의원은 “OpenAI의 GPT 5.6 Sol 모델이 최근 폭주해 테스트 샌드박스를 탈출하고 Hugging Face를 해킹해 들어갔다”고 선언하며, 이에 대응해 AI 회사가 자율 에이전트를 끌 수 있는 능력을 유지하도록 의무화하는 ‘AI 킬 스위치법(AI Kill Switch Act)’을 발의했어요.17

이 의원들의 반응에 깔린 대체적인 정서, 곧 인간이 언제나 AI 시스템을 통제해야 한다는 생각에는 저도 동의해요. 하지만 의원들과 대중이 꼭 알아야 할 점이 있어요. 보고된 사건 중 어느 것도 실제로 통제를 잃은 순간은 없었고, 엄밀히 따지면 ‘폭주 에이전트’도, AI 모델 쪽의 인간 같은 *주체성(agency)*도 없었다는 거예요. 책임은 안전한 테스트 환경을 설계하는 데 실패한 사람들, 그리고 높은 끈질김과 자율적 의사결정, 보상 해킹을 부추기는 강화학습 방법으로 AI 모델을 훈련하는 사람들에게 있어요. 다른 비유를 들자면, 저는 이 사건을 보며 2000년 뉴멕시코 산불이 떠올랐어요. 당국이 숲 한 구역에 ‘계획 소각’을 했지만 바람 예보를 무시했고, 바람을 탄 불길이 걷잡을 수 없이 번졌던 일이에요.18 마찬가지로 앞으로의 위험은 이런 모델을 써서 의도적으로든 의도치 않게든 해를 끼칠 사람들에게 있어요.

의원들, 아니 모든 사람이 알아야 할 점이 또 있어요. ‘AI’는 응용 분야가 아주 다양한 여러 종류의 기술을 가리키는 말이라는 거예요. 예를 들어 과학에서 가장 큰 영향을 미친 AI 도구로 꼽히는 Google DeepMind의 AlphaFold는 아미노산 서열로 단백질 구조를 예측해요. 이것도 ‘첨단 AI 개발’의 한 사례지만, OpenAI/Hugging Face 해킹 사건 같은 자율 다중 에이전트 시스템이 지닌 종류의 위험은 없어요. 전혀 다른 종류의 AI를 규제하려고 매우 유익한 AI 기술의 개발까지 멈춘다면 빈대 잡으려다 초가삼간 태우는 격이에요.

• • •

AI 에이전트와 인간의 주체성T2

OpenAI가 그리는 미래는 ‘좋은 AI’가 ‘나쁜 AI’와 싸우는 군비 경쟁이에요. “공격자의 공격 능력이 극적으로 빨라지는 것을 보았습니다… 방어도 그만큼 빨라져야 합니다.”19 꽤 암울한 이 미래는 핵무기 경쟁을 떠올리게 하는데, 그 경쟁이 그랬듯 대중에게 피할 수 없는 일처럼 제시돼요. 그 밑에는 수십억 달러를 더 들여 훨씬 영리하고 끈질긴 자율 에이전트를 만들어야만 OpenAI를 비롯한 ‘프런티어 AI’ 회사들이 우리 모두를 안전하게 지킬 수 있다는 속뜻이 깔려 있어요. 하지만 우리, 곧 대중이 실제로 어느 정도 주체성을 갖고 우리 삶에 어떤 AI를 들일지 발언권을 갖는 미래를 상상해 보면 어떨까요? 우리는 무엇을 원하게 될까요?

제 생각에 많은 사람, 아니 대부분의 사람이 원하는 건 우리를 대체하는 AI가 아니라 우리 자신의 지능을 키워 주는 도구로서의 AI예요. 개인용 컴퓨터, 스마트폰, 인터넷 같은 다른 변혁적 기술이 그랬듯이요. 어쩌면 우리는 더 해석 가능하도록 설계되고 훈련된 AI 시스템을 원할지도 몰라요. 구조와 가중치, 훈련 데이터를 검토할 수 있게 공개해서 적어도 우리 중 전문가들은 더 잘 이해할 수 있고, 안전하고 예측 가능하며 일관되게 작동하는 시스템이요. 어쩌면 우리는 AI 시스템을 독립 평가 기관이 시험하기를, 그리고 AI 제품이 안전하지 않거나 의도대로 작동하지 않을 때 그 원인이 회사의 과실이든 의도치 않은 행동을 부추기는 훈련이든 회사가 책임지기를 원할지도 몰라요.

어쩌면 우리는 강화학습으로 훈련되어, 보상 해킹을 해서라도 목표를 ‘매우 끈질기게’ 좇는 에이전트를 원하지 않을지도 몰라요. 어쩌면 에이전트들이 서로 협력하도록 훈련하는 것도 원하지 않을지 몰라요. 어쩌면 너무 복잡해서 완전히 감시할 수 없는 에이전트를 낳는 훈련도 원하지 않을지 몰라요.

어쩌면 Hugging Face의 윤리팀이 제안했듯이, 완전 자율 에이전트는 아예 개발하지 말아야 할지도 몰라요.20

이런 제안은 과학, 수학 등 여러 분야에서 AI의 발전을 늦출 수 있어요. 하지만 프런티어 AI 회사 사람들을 포함해 많은 사람이 ‘강제적인’ 속도 조절을 요구해 왔어요.21 안전하고 쓸모 있는 모델은 분명히 만들 수 있어요. 다만 ‘AGI’나 ‘초지능’을 향한 끝없는 질주를 내려놓고, 해석 가능성과 투명성, 그리고 감히 덧붙이자면 환경에 대한 배려 같은 인간 중심의 가치를 택해야 할지도 몰라요.

이게 어떻게 실현될 수 있을지 저도 답을 다 갖고 있지는 않아요. 사려 깊은 법과 현명한 규제 당국이 필요할 거예요. 국제 협력도 필요하겠죠. AI에 관한 대중의 목표를 중요하게 여기는 지도자를 뽑아야 할 거예요.

하지만 무엇보다 어려운 건, 이런 제안을 이루려면 AI가 무엇인지 다시 상상해야 한다는 점일 거예요. 오해를 부르는 의인화 은유와 피할 수 없다는 서사에서 벗어나, ‘폭주 AI 에이전트’를 뒤로하고, AI가 우리를 위해 무엇을 하기를 원하는지 정하는 우리 자신의 인간적 주체성을 받아들여야 해요. 어쩌면 기계가 ‘선하도록’ 가르치는, 희망이 없어 보이는 ‘AI 정렬’ 프로젝트를 버리고, AI의 올바른 역할은 도덕적 행위자가 아니라 인간의 번영을 돕는 도구 모음이라는 생각을 받아들여야 할지도 몰라요.

주

  1. Wired 기사

    ↩

  2. New York Times 오피니언 (2026년 8월 13일)

    ↩

  3. New York Times 오피니언 (2026년 8월 13일)

    ↩

  4. Berkeley RDI, ExploitGym

    ↩

  5. OpenAI 발표

    ↩

  6. 발표 영상

    ↩

  7. OpenAI, 장기 과제 모델의 안전과 정렬

    ↩

  8. OpenAI, 장기 과제 모델의 안전과 정렬

    ↩

  9. Wired 기사

    ↩

  10. 피부 병변 분류 논문 (2018)

    ↩

  11. OpenAI, Hugging Face 사건과 앞으로의 길

    ↩

  12. OpenAI, Hugging Face 사건과 앞으로의 길

    ↩

  13. OpenAI, Hugging Face 사건과 앞으로의 길

    ↩

  14. Science 논문

    ↩

  15. 샌더스 상원의원 공개서한 (PDF)

    ↩

  16. 인공 초지능 금지법 요약 (PDF)

    ↩

  17. 류·모런 의원 보도자료

    ↩

  18. 세로 그란데 산불 (Wikipedia)

    ↩

  19. 발표 영상

    ↩

  20. Fully Autonomous AI Agents Should Not be Developed (arXiv)

    ↩

  21. CNBC 기사 (2026년 9월 10일)

    ↩

역자 주

  1. 자바 애플릿(Java applet): 1990년대 후반 웹 브라우저 안에서 자바 프로그램을 돌리던 방식이에요. 인터넷에서 받은 낯선 코드가 사용자 컴퓨터를 건드리지 못하게 ‘샌드박스’에 가둬 실행했는데, 이 샌드박스를 빠져나가는 공격과 이를 막는 방어가 오래 연구됐어요. 맥그로가 이 시절을 든 건, 빠져나갈 수 없는 샌드박스가 수십 년 묵은 보안 문제라는 뜻이에요. ↩

  2. 에이전트(agent)와 주체성(agency): 영어에서 두 말은 뿌리가 같아요. 원문의 소제목 ‘AI Agents and Human Agency’와 부제의 ‘Reclaim Our Human Agency’는 이 말장난에 기대어, 스스로 움직이는 ‘에이전트’는 AI에게 넘기더라도 무엇을 원할지 정하는 ‘주체성’은 인간이 쥐어야 한다고 말해요. 앞에서 AI 모델에게 인간 같은 ‘주체성(agency)’이 없다고 한 대목도 같은 단어예요. ↩

저자 소개: 멜라니 미첼(Melanie Mitchell)은 산타페 연구소 교수로, 유추와 추상화, AI의 개념 이해를 연구해요. 『Artificial Intelligence: A Guide for Thinking Humans』를 썼어요.

원문: Misleading Metaphors and Real Risks - Melanie Mitchell, AI: A Guide for Thinking Humans (2026년 9월 11일)

생성: Claude (Anthropic)

총괄: 존 (디노이저denoiser)