앤트로픽의 안전 초능력

게시일: 2026년 6월 16일 | 원문 작성일: 2026년 6월 15일 | 저자: Ben Thompson | 원문 보기

• • •

솔직히 말하면, 회의론자들 시각이 꽤 이해가 돼요. Anthropic이 모델 출시 때마다 내놓는 발언들을 공포 마케팅이라고 꾸준히 비판하는 사람들 말이에요. 불과 두 달 전, Anthropic은 Mythos Preview를 발표하면서 정교한 사이버 공격 능력 때문에 일반에 공개하기엔 너무 위험하다고 했어요. 그러다 두 달 뒤, 여러 안전 가드레일 (guardrail) 을 적용한 Fable을 공개 출시했죠.

제가 많이 써본 건 아니지만, Fable은 정말 인상적인 모델이에요. 코딩 성능 말고 다른 걸로 모델을 객관적으로 평가하기가 점점 어려워지고 있는 건 맞아요. 하지만 쓰다 보면 느껴지는 게 있잖아요. Fable을 쓰고 나니 GPT 5.5나 Opus 4.8 같은 다른 모델들이 갑자기 작고 둔해 보이더라고요. 이런 느낌이 든 건 딱 두 번 있었어요. GPT-4랑 Grok 4였죠. 둘 다 기본 모델 크기와 복잡도 면에서 새로운 세대를 대표하는 모델들이었어요. 제 직감엔 Fable이 새로 사전 학습한 모델을 바탕으로 나온, 신세대의 첫 번째 모델인 것 같아요.

그래서 저는, Fable/Mythos가 보안 취약점 탐지와 악용 면에서 실제로 더 강력하고 Anthropic의 신중한 출시 방식이 정당했다는 주장을 충분히 받아들일 수 있어요. 문제는, 모델을 공개 출시하면 가드레일은 우회 (jailbreak) 되기 마련이라는 거예요. 실제로 출시 직후 그런 일이 벌어졌고요.

앤트로픽 대 미국 정부, 또다시

그 이후 무슨 일이 있었는지는 다소 불분명해요. Anthropic은 블로그 포스트에서 이렇게 밝혔어요:

미국 정부가 국가 안보 권한을 근거로, 미국 내외를 불문하고 Anthropic 직원인 외국인을 포함한 모든 외국 국적자의 Fable 5 및 Mythos 5 접근을 중단하는 수출 통제 명령을 내렸습니다. 이 명령의 실질적 효과는, 규정 준수를 위해 모든 고객에 대해 Fable 5와 Mythos 5를 즉시 비활성화해야 한다는 것입니다. 다른 Anthropic 모델들에 대한 접근에는 영향이 없습니다.

오늘 오후 5시 21분(동부 표준시)에 정부로부터 지시를 받았습니다. 해당 서한에는 국가 안보 우려의 구체적인 내용이 명시되어 있지 않았습니다. 저희가 파악한 바로는, 정부는 Fable 5를 우회하는, 즉 탈옥하는 방법이 유출됐다고 판단한 것으로 보입니다. 저희는 이 특정 기술이 이미 알려진 소수의 경미한 취약점을 발견하는 데 사용되는 시연을 검토했습니다. 이 취약점들은 모두 비교적 단순한 것들이며, 탈옥 없이도 다른 공개 모델들이 동일하게 발견할 수 있음을 확인했습니다.

Anthropic은 이어서 비전면적(非全面的) 탈옥은 불가피하며 범위도 제한적이고, 전면적 탈옥의 증거는 없다고 주장했어요. 탈옥을 신고한 곳은 Amazon인 것으로 보이는데, Amazon은 Anthropic의 투자자이자 주요 추론 서비스 제공자이기도 해서 주목할 만한 대목이에요. 이 글을 쓰는 지금, Anthropic 고위 임원들은 워싱턴 D.C.에서 이 사안이 오해에서 비롯된 것이라고 설득하려 하고 있는 반면, 백악관 관계자들은 회사 리더십이 정당한 국가 안보 우려에 안일하게 대응했다고 지적하고 있어요.

아직 불분명한 게 너무 많아서, 저도 현재 분쟁에 딱히 보탤 말이 없어요. 다만 이런 갈등이 벌어지고 있다는 사실 자체는 전혀 놀랍지 않아요. 제가 쓴 〈Anthropic and Alignment〉에서 미국 정부와 Anthropic의 충돌이 왜 불가피한지 이미 설명했거든요.

그런 맥락에서 보면, Mythos가 정부의 강경 조치를 정당화할 만큼 강력하지 않다는 주장은 핵심을 놓친 거예요. 지금 충분히 강력하지 않더라도, 다음 모델이 그럴 테고, 아니면 그다음 모델이 그럴 거예요. 특히 이제 모델들이 다음 세대 모델 개발에도 점점 더 요긴하게 쓰이고 있으니까요.

그런데 이 대목에서 또 다른 의문이 생겨요. 공교롭게도 회의론자들에게 힘을 실어주는 것 같은 의문이죠. Mythos가 그렇게 위험하다면, 왜 애초에 Fable을 출시한 거고, 자신들이 원한다고 주장하는 바로 그 일을 하려는 정부와 싸우는 이유가 뭘까요? 사실 저는 Anthropic의 행동이 충분히 이해된다고 생각해요. 이 회사가 독특한 건 그 행동을 정당화하는 방식이에요. 바로 그 정당화가 회의론자들에겐 비판의 빌미가 되고, Anthropic에겐 마법 같은 힘의 원천이 되죠.

경제적 필요

AI 초창기 몇 년간, 경제적 가치는 대부분 컴퓨팅 (compute) 쪽으로 쏠렸어요. 이유는 단순해요. 수요를 따라잡을 공급이 없었으니까요. 가격은 치솟았고, 가장 큰 수혜자는 Nvidia, TSMC, 그리고 메모리 제조사들(SK hynix, Samsung, Micron)이었죠. 반면 Anthropic과 OpenAI는 합쳐서 수백억 달러 손실을 감수하며 최첨단 모델을 만들어왔는데, 막상 공개하고 나면 주로 중국발 오픈소스 모델들이 이를 증류해서 상품화해버렸어요.

이게 바로 이 회사들의 비관적 시나리오 (bear case) 예요. 비용을 절대로 뽑지 못하는 거죠. 차별화는 순식간에 사라지고, 공짜 대안들은 어느새 “충분히 쓸 만한” 수준이 돼버리니까요. 저는 이게 충분히 현실적인 시나리오라고 봐요. 모델들이 대체재가 되는 세상은 결국 모델이 상품이 되는 세상이에요. 가치의 대부분은 다른 곳으로 빠져나가게 되죠. 지금은 컴퓨팅이 그 자리지만, 언젠가 컴퓨팅이 충분해지면, 가치 사슬에서 가장 중요한 자리는 항상 그래왔던 곳으로 돌아갈 거예요. 사용자 접점 (user touchpoint) 을 쥐고 있는 쪽이요.

그런 맥락에서, 프런티어 랩들이 사용자에게 더 가까이 다가갈 수밖에 없다는 건 저에겐 오래전부터 자명했어요. 경제적 필요 때문이에요. 사용자 접점을 쥐면 실질적인 락인 효과가 생겨요. 그걸 쥐는 가장 좋은 방법은 사용자가 무슨 일이든 가장 먼저 펼치는 캔버스가 되는 거고요. 결국 프런티어 랩들은 소프트웨어 회사들과 정면충돌을 향해 달려가고 있어요. 지금 사용자 접점을 소유한 건 소프트웨어고, 프런티어 랩들의 장기적 이익은 소프트웨어에 원재료로 들어가는 데 머무는 게 아니라, 소프트웨어 자체를 아예 대체하는 데 있거든요.

소프트웨어 회사들은 반대 방향으로 움직이고 있어요. Satya Nadella는 X에 올린 에세이에서 기업이 모델 위에서 어떻게 구축해야 하는지를 이렇게 밝혔어요.

모든 기업은 제가 생각하는 인적 자본과 토큰 자본을 구축해야 할 거예요. 인적 자본은 구성원들의 지식, 판단력, 관계, 창의성, 패턴 인식으로 이뤄지고, 토큰 자본은 기업이 구축하고 소유하는 AI 역량이에요. 중요한 건, 토큰 자본이 커진다고 해서 인적 자본의 가치가 떨어지지 않는다는 거예요. 오히려 더 높아지죠! 저는 인간의 주도성이 토큰 자본 성장의 원동력이 될 거라고 믿어요. 인간이 야심찬 목표를 세우고, 다양한 분야에서 점들을 연결하고, 관계를 만들고, 가장 중요한 패턴을 인식하는 거예요. 인간의 방향 제시 없이는 컴퓨팅이 제자리만 맴돌게 돼요.

그렇다면 진짜 기회는 최고의 모델을 고르는 데 있지 않아요. 오히려 모델 위에 학습 루프를 구축해서 인적 자본과 토큰 자본이 함께 복리로 성장하게 하는 데 있죠. 과업 하나, 또는 업무 하나를 넘길 수는 있어도, 학습 자체를 넘길 수는 없어요. 기업의 미래는 그 학습을 사람과 AI 모두에 걸쳐 복리로 쌓아가는 역량에 달려 있어요. 이를 위해서는 새로운 아키텍처 접근법이 필요해요. 모든 기업이 시간이 지날수록 개선되는 에이전틱 시스템을 구축하면서도, 자신의 IP에 대한 통제권을 유지할 수 있는 구조요. 기업은 자신들의 학습 시스템에 축적된 “회사 베테랑” 전문성을 잃지 않고 “범용” 모델을 교체할 수 있어야 해요. 이게 앞으로의 시대에 여러분의 통제력과 주권을 가늠하는 핵심 “시험”이에요.

Nadella는 이 비전을 경고와 함께 시작했어요.

우리 모두가 원하지 않는 세상이 있다면, 모든 산업의 모든 기업이 눈에 보이는 모든 것을 먹어치우는 몇몇 모델에 가치를 넘겨주는 세상이에요. 소수의 모델에만 가치가 집중된다면, 정치 경제학적으로 그것을 용납하지 않을 거예요. 전체 산업을 공동화시키는 AI 미래에 사회적 허가란 없어요.

세계화 1단계에서 어떤 일이 있었는지 생각해보세요. 아웃소싱으로 산업 경제 전체가 텅 비어버렸죠. 표면적인 GDP 수치는 괜찮아 보였지만, 실질적 이탈은 현실이었고 그 여파는 지금도 느껴지고 있어요. AI 시대에 그 역학을 다시 들여오지 않도록 해야 해요. 소수의 AI 시스템이 경제적 이익을 독식하면서, 전체 산업이 그들 발밑에서 지식을 상품화당하는 상황 말이에요.

그런데 이 비유에는 문제가 있어요. 세계화는 실제로 일어났고, 산업 경제는 실제로 피폐해졌거든요. 이건 경고가 아니라 예언일 수도 있어요. Microsoft도 피해자 중 하나가 될 수 있으니, Nadella가 경종을 울리는 건 당연한 일이에요. 그리고 같은 이치로, 모델 제조사들 입장에서도 그렇게 하는 게 경제적으로 불가피한 거예요.

데이터 필요

아직 어떤 모델도, Mythos조차도, 그 수준은 아니에요. 더 많은 컴퓨팅 외에 필요한 건 더 많고 더 좋은 데이터예요. 모델 개선은 점점 더 강화 학습 (reinforcement learning) 에서 나오고 있어요. 일부는 합성으로 생성할 수 있지만, 프런티어 랩에게 가장 강력한 레버는 실제 사용 데이터예요.

이게 바로 OpenAI와 Anthropic이 대규모 적자를 감수하며 구독 요금제를 제공하는 핵심 이유 중 하나라고 봐요. SemiAnalysis의 최근 추정에 따르면, 월 $200 요금제로 Claude 토큰 $8,000어치와 Codex 토큰 $14,000어치를 쓸 수 있다고 해요.

물론 두 회사 모두 사용자와 개발자의 마음을 사로잡으려는 목적도 있지만, 동시에 모델 개선에 쓸 실제 사용 데이터를 확보하기 위해서도 경쟁하고 있는 거예요.

Anthropic은 Fable 출시와 함께 훨씬 더 강하게 밀어붙였어요. 이전에 제로 데이터 보관을 약속했던 기업 요금제를 포함해, 모든 사용 데이터를 30일간 보관한다고 발표한 거예요. 회사는 이 데이터를 훈련에 쓰지 않겠다고 했지만, 나중에도 그러지 않겠다는 어떤 안전장치도 마련하지 않았어요. 제3자에게 데이터를 맡기는 방식 같은 것 말이에요. Fable이 다시 서비스를 시작했을 때 이 정책 변경으로 고객들이 크게 이탈하지 않는다면, 결국 그 데이터를 쓰기 시작하는 건 시간문제라고 생각해요. 그 데이터가 그들의 목표에 너무 소중하거든요.

사용자 접점으로 올라갈수록 선순환도 만들어져요. Claude나 Codex로 직접 처리하는 워크플로우가 많아질수록, 각 회사가 훈련에 돌려줄 수 있는 데이터도 많아져요. 그러면 제품이 더 유능하고 유용해지고, 다룰 수 있는 워크플로우가 더 늘어나고, 다시 더 많은 데이터를 쌓을 수 있는 구조가 되는 거죠.

Nadella는 에세이에서 이 데이터의 중요성을 강조하면서도, 그 데이터는 모델 제공자로부터 독립적이어야 한다고 주장해요.

기업들은 자신의 워크플로우, 도메인 지식, 축적된 판단력을 사용할 때마다 개선되는 AI 시스템으로 전환해야 해요. 비공개 평가지표는 모델이 외부 벤치마크가 아니라 실제 비즈니스에 중요한 결과 기준으로 진정 개선되고 있는지를 포착해야 해요. 비공개 강화 학습 환경은 조직 내부의 실제 흔적으로 모델이 더 강해질 수 있게 해야 하고요. 지식 베이스는 조직의 기억을 조회 가능하게 만들고 토큰 사용을 더 효율적으로 만들어줘요.

이 루프가 기업의 새로운 IP가 돼요. 저는 이를 언덕 오르기 기계 (hill climbing machine) 라고 불러요. 그리고 대부분의 자산과 달리 이건 복리로 쌓여요. 개선된 워크플로우 하나하나가 더 좋은 학습 신호를 만들어내고, 그게 기업 고유의 암묵적 지식 축적을 가속화해요. 어떤 새로운 개별 모델 역량이 나오든, 이 루프를 일찍 구축한 기업들은 복제하기 어려운 우위를 갖게 될 거예요.

그런데 만약 Anthropic의 데이터 정책에 결국 굴복한 기업들이 지금 당장 더 나은 결과를 얻는다면 어떨까요? 기존 기업들이 저항하는 사이, 신생 기업들이나 모델 제조사들이 그 빈틈을 타고 시장을 앞질러버린다면요? Anthropic은 분명히 Nadella가 촉구하는 그 결의를 시험에 부치고 있는 중이에요.

권력 필요

Fable/Mythos의 데이터 보관 정책도 논란이 컸지만, 놀랍게도 이번 출시에서 가장 논쟁적인 부분은 그게 아니었어요. Anthropic은 출시 당시, Fable이 LLM 개발에 활용되면 성능을 사용자 몰래 낮추겠다고 밝혔거든요. 시스템 카드에는 이렇게 적혀 있었어요:

프런티어 LLM 개발과 관련한 안전장치도 추가했어요. 2026년 2월 리스크 보고서 6.1절에서 논의한 것처럼, 저희는 AI 개발 전반의 속도가 빨라지는 데 따른 리스크를 우려하고 있어요. 이 리스크의 심각성에 대해서는 아직 확신하기 어렵지만요. 구체적으로 저희가 걱정하는 건, 당시에도 썼듯이, “저희 모델과 유사한 리스크를 내포하는 강력한 AI 시스템을 구축하는 다른 AI 개발사들을 가속하는 것, 그것도 그에 상응하는 안전장치 없이”라는 부분이에요.

최근 모델들이 자신의 개발을 스스로 가속할 수 있게 된 것을 감안해, 저희는 프런티어 LLM 개발을 겨냥한 요청에 대해 Claude의 효과를 제한하는 새로운 조치를 도입했어요 (예: 사전 학습 파이프라인 구축, 분산 학습 인프라, ML 가속기 설계 등). Claude를 경쟁 모델 개발에 사용하는 건 이미 이용약관에 위배되지만, 이 제한을 안전장치를 통해 적용함으로써 그 약관을 가장 쉽게 위반하려는 행위자들을 가속하는 것을 방지할 수 있어요.

사이버보안, 생물학·화학, 증류 시도에 대한 개입과 달리, 이 안전장치는 사용자에게 보이지 않아요. Fable 5는 다른 모델로 폴백하지 않을 거예요. 대신 이 안전장치는 프롬프트 수정, 스티어링 벡터 (steering vectors) , 또는 PEFT(파라미터 효율적 파인튜닝) (parameter-efficient fine-tuning) 같은 방법을 통해 효과를 제한할 거예요. 이 조치는 대부분의 코딩 작업에는 영향을 주지 않아요. 트래픽의 약 0.03%, 그리고 0.1% 미만의 조직에만 영향을 미칠 것으로 추정해요. 이 조치가 활성화되더라도 모델의 행동에는 거의 변화가 없고, 프런티어 LLM 개발에 있어서의 효과만 제한될 거예요. Claude는 여전히 사용자 요청에 유용하게 응답할 거예요. 이 모델 출시 이후에도 탐지 방법의 정밀도를 계속 개선해 나갈 계획이에요.

Anthropic은 결국 이 방침을 철회했어요. 이제 Fable은 LLM 관련 요청을 단순히 Opus 4.8로 넘기고, 그 사실을 사용자에게 알려줘요. 그래도 저는 처음의 방침이 시사하는 바가 컸다고 생각해요. 한편으로는, Anthropic이 경쟁사를 돕기 싫다는 마음은 충분히 이해해요. 다른 한편으로, 이 방침이 극명하게 드러낸 건 Anthropic이 자기 자신 외에는 어떤 회사도 프런티어 LLM을 만들어서는 안 된다고 생각한다는 거예요.

이 방침이 더욱 주목할 만한 건, Anthropic과 전쟁부가 갈등을 빚은 지 불과 두 달 만에 시행됐다는 거예요.

전쟁부는 합법적인 목적이라면 Claude를 어디에든 쓸 수 있어야 한다는 입장이었고, Anthropic은 감시 및 자율 무기 활용에 더 엄격한 통제가 필요하다고 맞섰죠. 이 성능 저하 조치는, Anthropic이 원하는 정책 방향에 맞게 모델을 몰래 바꿀 능력과 의지를 모두 갖추고 있음을 드러냈어요. Anthropic은 자기 자신이 공급망 리스크가 될 수 있다는 비판자들의 최악의 우려를 스스로 증명해 버린 셈이에요.

이전 사건에서 읽을 수 있는 더 큰 그림은, Anthropic이 자사의 활용 방식에 대한 최종 결정권은 자신들에게 있어야 한다고 믿는다는 거예요. 자신들만이 최첨단 AI를 개발해야 한다고 생각하는 만큼, 자연스럽게 AI 전반에 대한 최종 결정권도 자신들에게 있어야 한다고 생각하게 되는 거예요. AI가 모든 경제 활동을 대신할 수 있다는 회사의 주장까지 감안하면, Anthropic 경영진은 결국 모든 것과 모든 사람에 대한 권력을 원한다는 말이에요.

안전 서사

물론 Anthropic은 절대 이렇게 노골적으로 말하지 않아요. 그 대신, 이야기는 언제나 안전이에요:

• Anthropic이 API 접근은 점점 제한하면서도, 다양한 워크플로에 특화된 엔드포인트를 통해서는 모델 기능을 최종 사용자에게 직접 노출하는 방향으로 나아갈 거라고 봐요. 소프트웨어를 대체하고 접근을 제한하는 이 과정은 안전이라는 명목으로 이루어지겠지만, 실제로는 최종 사용자에게 더 가까이 다가가려는 경제적 필요를 충족시키는 거예요.

• Anthropic은 데이터 보관 정책을 그토록 극적으로 바꾼 것에 대해서도 안전을 이유로 들었어요. 구체적으로는, 미국 정부가 우려하는 탈옥 시도를 막기 위해 30일간 모든 사용자 데이터를 보관하는 게 필요하다는 거예요. 머지않아 악의적인 사용을 더 잘 방지하기 위해 안전을 이유로 이 데이터를 훈련에도 활용하게 되는 미래가 충분히 그려져요.

• Anthropic의 창업 서사 자체가 OpenAI가 안전을 충분히 진지하게 다루지 않는다는 창업자들의 확신에서 비롯됐어요. 회사는 AI를 통제할 수 있는 건 자신들뿐이라고 믿고, 자신들만이 안전에 진정으로 신경 쓴다는 이유로 미국 정부에 이르기까지 다른 모든 이들을 통제하려는 시도가 정당하다고 여겨요.

이 안전 논리들이 왜 먹히냐고요? Anthropic에게 그것은 논리가 아니기 때문이에요. 이 회사는 초지능의 도래를 진지하게 믿는 건 자신들뿐이고, 그 위험성을 제대로 우려하는 것도 자신들뿐이라고 진심으로 믿어요. 그 믿음이 결정 하나하나, 정책 하나하나, 대립 하나하나를 정당화해 줘요. 외부인의 눈엔 냉소와 순진함이 기묘하게 뒤섞인 것처럼 보이는 것들을요.

OpenAI와의 대비는 이보다 선명할 수 없어요. OpenAI가 어떻게, 왜 선두를 잃었는지 이해하는 방법 중 하나는 이거예요. ChatGPT 출시 이후 수년간, 연구소였던 회사가 얼떨결에 소비자 테크 기업이 되어버린 부담을 짊어지면서 끝없는 내부 갈등에 시달렸다는 것.

갈등이 어느 정도 수습됐다 해도, 그건 수많은 인재가, 특히 Anthropic으로 대거 빠져나간 대가였어요.

반면 Anthropic은 인재와 미션과 사업이 완벽하게 정렬되어 있어요. 이 회사는 연구자들에게 기계 신을 창조한다는 비전을 팔 수 있어요. 그것도 위험을 직시할 줄 알고 인류를 위해 그 험로를 헤쳐나갈 만큼 영리하다는 자부심까지 얹어서요. 그 과정에서 나오는 정책 변화가 하나같이 공교롭게도 사업에 딱 맞아떨어진다는 건, 세상에서 가장 아름다운 우연이죠.

저는 이 정렬을 존중하면서도 두려워해요. 존중하는 건, 그게 너무나 분명히 효과적이기 때문이에요. 가장 잘 맞는 비유는 아마 Apple일 거예요. Apple은 언제나 자기 이익을 챙기는 행동을 사용자를 위한 것처럼 포장해 왔고, 실제로 그런 경우도 많았죠. Anthropic도 마찬가지예요. 두려운 건 이거예요. 자신이 가장 잘 안다고 확신하는 사람들이 안 써도 그만인 스마트폰을 만드는 건 그나마 괜찮아요. 그런데 초지능은 다른 문제예요. 국가 권력은 물론, 거대 기업의 힘까지도 능가할 수 있는 기술이니까요. 그 정도 힘을 가진 기술을 같은 확신으로 만드는 건, 비교도 안 될 만큼 우려스러운 일이에요.

• • •