백만 개의 AI 에이전트는 초지능을 만들어 낼 수 있을까?

게시일: 2026년 10월 21일 | 원문 작성일: 2026년 10월 19일 | 저자: Ramez Naam | 출처: Noahpinion | 원문 보기

라메즈 나암이 에이전트 군집에 대한 회의론자의 시각을 들려줍니다.

• • •

제 눈에 라메즈 나암은 지금 살아 있는 미래학자 가운데 손꼽히는 인물이에요. 그런데 서브스택(꼭 팔로우하세요)을 운영하면서도 글은 너무 뜸하게 써요. 그래서 저는 그의 글을 제 블로그에 옮겨 싣는 방식으로 더 자주 쓰라고 독려해 왔어요.

의외였지만, 라메즈는 제가 생각했던 것보다 훨씬 AI 회의론자에 가까운 사람이었어요. 기술 자체를 무시하는 건 아니지만, 대형 랩들(특히 앤트로픽)에서 나오는 과감하고 극적인 주장 가운데 상당수에는 동의하지 않죠. 이 시리즈의 첫 글에서는 재귀적 자기 개선(RSI)이 가까운 미래에 AI 역량의 빠른 테이크오프로 이어질지에 대해 회의적인 입장을 밝혔어요.

이번 글에서는 에이전트 군집, 곧 병렬로 일하는 수많은 AI 에이전트가 AI 역량을 극적으로 끌어올릴 수 있다는 생각에 회의적인 시각을 보여요. 에이전트 군집은 뉴스에 자주 올랐죠. 허깅 페이스 해킹 사건 때문이기도 하고, OpenAI가 유명한 나비에-스토크스 문제T1를 푼 것도 대규모 군집의 성과로 널리 알려졌으니까요. 하지만 라메즈는 병렬화도 수확 체감을 겪는 입력 중 하나일 뿐이라고 주장해요. 그러니 에이전트 군집이 이뤄낼 수 있는 것에 대해서는 기대를 절제하자는 거죠.

지난 글 때와 마찬가지로, 군집이든 아니든 근간 모델의 역량이 여전히 꾸준하고 인상적인 속도로 좋아지고 있는 상황에서 이 논증이 얼마나 중요할지는 저도 확신이 서지 않아요. 그래도 지적으로 아주 흥미로운 논증이고, 라메즈는 은근히 설득력이 있는 사람이에요.

— 노아 스미스(Noah Smith)

• • •

지난 글에서 우리는 AI가 스스로를 개선해 터무니없이 높은 수준의 초지능까지 올라갈 수 있는지를 물었어요. 제 결론은 이랬어요. 오늘날의 피드백 루프는 아마 너무 약하다는 것. AI를 개선하는 단계 하나하나가 수확 체감에 부딪히기 때문이에요. 연구와 코딩을 전부 떠맡는 완전 자율 AI조차 그 수확 체감을 없애 주지는 못해요. 실제 세계의 파라미터와 데이터가 바뀌는 대로 이 결론도 계속 갱신해야겠죠.

다만 또 하나의 가능성, 수백만·수십억 개의 AI 마인드를 병렬로 돌리는 시나리오는 깊게 들여다보지 않았어요. 얼마나 도와줄까요? 이번 글의 주제가 바로 그거예요.

TL;DR

많은 사람이 병렬로 돌아가는 더 많은 AI 에이전트가 재귀적 자기 개선에 연료가 될 수 있다고 모델링해 왔어요. 하지만 오늘날 우리가 가진 데이터는 다른 이야기를 해요. 에이전트를 늘리면 속도에는 도움이 돼요. 많은 문제를 더 빨리 풀 수 있으니까요. AI의 지능을 끌어올리는 데에는 덜 유용하고요. 더 어려운 문제를 푸는 멀티 에이전트의 이득은 놀랄 만큼 빨리 줄어들 때가 많고, 포화에 이르기도 해요. 멀티 에이전트 시스템이 RSI가 자가 유지되기 위해 필요로 할 개념적 돌파구를 만들어 낼 수 있는지가 더 어려운 질문이고요.

에이전트가 문제를 병렬화하는 능력 자체에 돌파구가 없다면, 오늘날 모델의 사본을 백만, 십억 개 돌려도 가장 어려운 문제에서 돌파구를 거듭 만들어 내는 모습은 상상하기 어려워요. 그 병렬화 능력이 어디까지 나아질 수 있는지는 어쩌면 머신러닝 문제 자체의 구조에 달려 있을지도 몰라요. 우리가 지금까지 본 수확 체감 중에서도 가장 강한 부류에 속해요. 물론 이 수확 체감은 달라질 수 있어요. 실험 데이터도 우리가 원하는 만큼은 아직 없고요. 새 증거가 들어오면 다시 보정해야겠죠. 끝으로 우리가 추적해야 할 것들과, 새로 공개된 앤트로픽 데이터로 볼 수 있는 자연 실험에 대한 제 예측으로 마무리하려고 해요.

RSI와 수확 체감에 대해 이미 다룬 것들

RSI가 꼭 폭주하는 초지능을 뜻하진 않아요

한 가지 구분을 다시 강조하고 싶어요. 완전 자동화된 AI 자기 개선이 지능 폭발을 전혀 보장하지는 않아요. AI 역량의 수확 체감이 그 피드백 루프를 약하게 만들거든요. 병렬 에이전트는 AI 파라미터 공간을 탐색하는 일을 자동화하는 데는 도움이 되지만, 새로운 개념적 돌파구를 만드는 데는 그다지 쓸모가 없어 보여요. 자기 개선이 자가 유지되려면 그런 부류의 돌파구가 필요할 거라고 저는 봐요. 빠르게 가속해 진정으로 심오한 수준의 초지능에 닿으려면 더 말할 것도 없고요.

십억 개의 병렬 AI도 수확 체감에 부딪혀요

오늘은 수천, 수백만, 수십억 명의 AI 연구자를 병렬로 돌리는 게 실제로 무슨 의미인지 훨씬 자세히 들여다보려고 해요.

이 글에서는 소프트웨어만 다뤄요. AI를 더 좋게, 더 싸게 돌아가게 하는 알고리즘을 개선하는 AI 연구자들이죠. 하드웨어와 투자, 경제 성장에는 각자의 피드백 루프가 있는데, 지난 글에서 간단히 다룬 적이 있어요. 여기서 묻는 건 AI 마인드 자체가 그보다 얼마나 더 발견할 수 있느냐예요.

데이터센터에 모인 천재들의 나라

달리오 아모데이는 『Machines of Loving Grace』 에서 한 장면을 상상해요.

수백만 개의 AI 마인드가 각자 여러 분야에서 노벨상 수상자보다 유능하고, 훨씬 빠른 속도로 일하는 모습이죠. 그렇다면 그야말로 놀라운 일이에요. 각 마인드의 지능이 그 전제의 핵심 부분이고요.

톰 데이비드슨과 다니엘 에스의 Forethought 논문은 ‘최고 수준 인간 연구자 수백만 명’에 해당하는 그림을 그려요. 벤저민 토드의 해설글은 ‘AI 연구에 매달리는 유능한 엔지니어 수백만 명’을 가리키고, 드워케시 파텔은 AI의 ‘거대한 개체수와 완벽한 지식 전달’을 강조하죠.

병렬로 도는 AI 에이전트의 수는 이런 논증에 어떻게 들어갈까요? 에스와 데이비드슨의 예시 모델에서는 연구자가 두 배면 논문도 두 배예요. 값싼 AI 덕에 같은 하드웨어로 더 많은 연구자를 돌릴 수 있는 반면, 소프트웨어 개선은 하나하나 찾기가 더 어려워지고요. AI 선구자인 제프리 힌턴과 요슈아 벤지오를 포함한 앨런 찬 등의 2026년 논문은 연구자를 더 붙이는 효과를 그보다 훨씬 크게 잡아요. 유효 연구 노동을 두 배로 하면 소프트웨어 개선 속도가 약 2.6배 늘어난다고 보는 거죠. 소프트웨어 수준은 고정해 두고요.

이것들은 연구자가 더 많아질 때 무엇이 나올지에 대한 가정이에요. AI 연구자가 아무리 늘어나도, 진전 하나하나가 더 어려워지는 걸 상쇄할 만큼 개선점을 계속 빠르게 찾아야 해요. 더 큰 AI 팀이 실제로 이뤄내는 게 무엇인지 본 다음에 그 가정으로 돌아올게요.

한편 OpenAI의 나비에-스토크스 발표가 있었죠. 약 1만 개의 에이전트가 88시간 동안 동시에 작업해 수학 밀레니엄 문제 하나를 풀었어요. 덕분에 그 아이디어가 눈앞에 그려지죠. 데이터센터가 AI 수학자들로 가득 차서, 악명 높은 어려운 문제에 달라붙는 모습이니까요.

그 흥분은 이해해요. 하지만 에이전트 수는 우리가 몇 명의 AI 연구자를 돌렸는지를 알려줄 뿐이에요. 그 추가 연구자가 무엇을 기여했는지도 측정해야죠.

수확 체감이라고 다 같지 않아요

고전적인 사전 학습 스케일링 법칙은 예측 손실이 거듭제곱 꼴로 줄어든다고 서술해요. 테스트 시간 점수 곡선 다수는 측정 구간에서 대체로 로그형처럼 보이고요. 일부 멀티 에이전트 결과는 훨씬 가파르게 편평해져요.

폭주하는 RSI가 되려면 개선이 뒤이은 개선을 점점 더 빨리 불러와야 해요. 소프트웨어 효율을 한 번 더 두 배로 만들 때마다 정해진 비율만큼 연구가 더 필요하다면, AI 연구자 수에 대한 로그형 수확은 그 루프를 지탱하기에 너무 약해요. 준로그형 스케일링이나 정체는 더 약하고요. 이 글의 나머지에서 요약할 실험들도 완벽하지 않고, 데이터가 더 있었으면 하는 바람이 커요. 하지만 오늘날 우리가 가진 가장 분명한 대규모 팀 증거는 로그형 또는 준로그형 지능 이득을 가리켜요. 우리가 검토 중인 가정 아래에서는 RSI를 자가 유지하게 만들기엔 물론, 폭주하게 만들기엔 더더욱 약해 보여요.

멀티 에이전트 스케일링을 가둔 것들

더 큰 팀이 더 나은 답을 만들어 내는 능력에서 한계에 부딪히는 이유는 최소한 세 가지고, 아마 더 있을 거예요. 이것부터 볼게요.

첫째, 조정 능력이에요. 에이전트들이 문제를 나누고, 작업을 관리하고, 서로 검증하고, 결과를 합칠 수 있을까요? 핵심만 주고받으면서 통신에 모든 시간을 쓰지 않을 수 있을까요? 팀에는 유능한 개인 기여자만큼 유능한 프로젝트 관리도 필요해요.

둘째, 사고의 동질성이에요. 에이전트들이 쓸모 있는 새 아이디어를 내고 있나요, 아니면 같은 접근과 실수를 반복하고 있나요? 백 개의 사본이 같은 맹점을 공유할 수 있어요. 답이 다양해야 도움이 되려면 그 다양함의 일부가 맞아야 하고요.

셋째, 문제의 구조예요. 병렬로 진행될 수 있는 게 얼마나 되고, 앞선 결과를 기다려야 하는 게 얼마나 될까요? 백만 개의 독립된 탐색은 한 번에 돌릴 수 있어요. 순차적인 조사는 안 되죠. 개념적인 문제를 어떻게 나눌지 알아내는 것부터가 팀이 아직 찾지 못한 통찰을 요구할 수도 있어요.

원문 보기

이 한계들은 서로 맞물려요. 더 나은 모델은 사본들이 그전까지 갖지 못했던 아이디어를 공급하거나, 더 나은 분업을 찾거나, 팀이 계속 놓쳐 온 해법을 알아볼 수 있어요. 누군가 올바른 접근을 발견하는 순간 어려운 과제가 병렬화하기 쉬워질 수도 있죠. 그래서 곡선의 모양이 중요하고, 그 모양이 바뀔 수 있는 거예요.

더 나아가기 전에 두 가지를 구분할게요. 속도, 즉 에이전트가 문제를 얼마나 빨리 푸는가와, 집단 지능, 즉 더 어려운 문제를 풀어 새로운 실력 수준에 올라설 수 있는가예요. 그 지능의 증거로는 검증된 벤치마크 점수를 쓰겠어요. 다만 벤치마크가 보편적인 IQ 척도인 건 아니에요.

에이전트는 더 큰 비용으로 속도를 사 줘요

가장 좋은 경우부터 시작해요. 백만 개의 독립된 작업. 시험해 볼 후보 백만. 탐색할 장소 백만. 각 에이전트는 남을 기다리지 않고 혼자 해볼 만한 쓸모 있는 일을 받고, 성공했는지 확인할 믿을 만한 방법도 갖춰요.

이런 일은 극도로 잘 확장돼요. 일꾼 열 명이 한 명이 하나 끝내는 시간에 열 개를 끝낼 수도 있고, 거대한 탐색은 작은 탐색이 아예 놓치는 희귀한 해를 찾아낼 수도 있죠.

병렬 에이전트의 우려스러운 용도로는 공격적 사이버보안이 있어요. Lisan al-GhaibT2가 이 가능성을 강조하죠. 군집 지능에 관한 그의 더 넓은 논증에는 동의하지 않지만, 수많은 공격이 병렬로 돌아가면 극도로 강력할 수는 있어요. 군집이 많은 표적을 탐색하거나 가능한 취약점을 한꺼번에 시도하는 데 개념적 돌파구가 필요하지 않을 수도 있고요.

그래도 운영체제나 브라우저 같은 가장 단단한 표적을 뚫으려면 긴 공격 체인이 필요할 수 있어요. 각 단계는 방어의 다음 층을 통과하기 위해 앞선 발견에 의존하죠. 여기서도 속도만 놓고 봐도 수확 체감이나 언젠가의 포화를 마주할지 몰라요. 실제로 아래 실험 하나가 그럴지도 모른다고 시사해요.

속도-비용 절충

토비 오드(Toby Ord)가 분석했어요. GPT-5.6 Sol이 여러 벤치마크에서 문제 풀이 속도를 얼마나, 어떤 비용으로 끌어올리는지요. 절충을 재는 유용한 틀을 얻는 셈이죠. 요컨대 에이전트를 더 쓰면 작업을 더 빨리 끝낼 수 있지만, 적게 썼을 때보다 총비용은 커져요.

왜 다를까요? 웹 리서치는 독립된 탐색으로 쪼개지는 일이 많아요. 명령줄 과제는 공유 환경을 순서대로 바꿔야 할 수 있고요. 문제에 따라 에이전트에게 나눠 주기가 쉬운가 어려운가가 갈리는 거예요.

오드는 속도가 에이전트 수에 따라 어떻게 확장되는지를 λ(람다)로 표기해요. 나중에 다시 나올 거예요. λ = 0.5면 속도와 총 컴퓨트 비용이 같은 배수로 올라가요. λ가 더 크다는 건 속도가 비용보다 빨리 오른다는 뜻이고요.

Opus 5.5는 이전 모델보다 병렬 에이전트에서 더 큰 속도를 얻어요

토비 오드의 분석에서 영감을 받아, 같은 방식을 앤트로픽이 공개한 프로그램 재구성(ProgramBench) 결과에 적용해 봤어요. 여기서도 속도가 빨라질수록 비용이 커져요. 그런데 Claude 계열의 모델들이 그 속도-비용 절충을 점점 잘 해내고 있다는 것도 보여요. 가장 최신인 Opus 5.5는 Opus 5나 Fable 5.1보다 작은 비용 증가로 더 큰 속도 향상을 얻어요.

에이전트 다섯 개를 붙이면 Opus 5.5는 단독 속도의 약 2.7배를 내는데, Opus 5는 2.2배예요. 게다가 더 낮은 비용으로요. [참고: 비용의 대리 지표로 총 에이전트 실행 시간을 썼어요. 토큰 사용량과 달러 비용은 다를 수 있어요.]

원문 보기

에이전트를 더 붙일수록 속도 이득도 어려워질 거예요

이런 속도 대 비용 이득이 수백, 수천, 수백만 개 에이전트 규모에서도 유지될까요? 완전히는 아닐 거예요. 모든 과제에서라고는 더더욱 말이죠.

어떤 문제는 열 조각으로 쪼개기 쉽지만 백 조각은 더 어렵고, 만 개 에이전트에게 나누는 건 더 더욱 어려워요. 더 많은 작업이 앞선 결과를 기다려야 할 수 있고, 그 조각들을 조율하는 것도 일이죠. 더 똑똑한 모델은 이걸 더 잘할 수 있어요. 그래도 제 추측으로는 많은 문제에서 확장을 거듭할수록 추가 비용 대비 얻는 속도가 줄어들 거예요.

앤트로픽의 형식 수학 증명 벤치마크가 한 가지 사례를 줘요.

에이전트 10개에서 30개까지는 속도가 비용보다 빨리 개선돼요. 30개에서 100개 사이에서는 비용이 속도보다 빨리 올라가죠. 구간 속도 지수 λ는 약 0.75에서 0.33으로 떨어져요. 에이전트를 더 붙이는 게 여전히 시간은 아껴 주지만, 절충 조건은 나빠지는 거예요.

이건 일을 더 많은 에이전트에게 나눌수록 속도 이득조차 힘을 잃을 수 있음을 시사해요. 지능 이득은 말할 것도 없고요. 문제가 하위 문제로 얼마나 쉽게 나뉘는지에는 한계가 있는데, 그 한계에 다가갈수록 에이전트를 더 붙여도 얻는 게 점점 작아질 수 있죠. 더 나은 조율이 그 한계를 바깥으로 밀어낼 수는 있지만, 그 한계를 부과하는 건 여전히 과제 자체일 수 있어요.

지능의 이득은 속도보다 훨씬 가파른 수확 체감에 부딪혀요

요컨대 속도에서는 더 많은 에이전트가 약간의 추가 비용으로 시간을 사 줄 수 있어요. 최신 모델일수록 잘하고 있지만, 한계는 있을 거예요. 그럼 지능은 어떨까요?

초지능을 논하는 대부분의 논거는 오늘날 에이전트를 어마어마하게 많이 돌리는 것을 넘어요. 개별 모델 자체가 압도적으로 똑똑해진다고 보죠. 여기에 닭이 먼저냐 달걀이 먼저냐 문제가 있어요. 그 지점에 도달하려면 머신러닝 그 자체에 대한 개념적 돌파구가 필요할 수 있어요. 어쩌면 현대 머신러닝을 가능하게 한 아이디어들만큼 심오하고, 적어도 트랜스포머와 추론 모델만큼은 중요한 돌파구죠. 병렬 탐색만으로 그걸 찾기엔 부족할 수 있죠. 앤트로픽도 야심 찬 연구 아이디어를 현 모델이 인간에게 뒤지는 영역으로 꼽았어요.

지난 글에서 저는 오늘날 측정되는 ‘더 똑똑한 모델’의 이득이 자가 유지 피드백 루프를 만들기엔 대략 5~10배쯤 약하다고 논했어요. 그런데 우리 최고 모델을 어마어마하게 많이 병렬로 돌리면 어떨까요? 아직 초지능은 아닌 프런티어 에이전트의 거대 팀이 새로운 아키텍처나 새로운 학습 방법을, 아니면 훨씬 똑똑한 후계 모델을 만드는 데 필요한 아이디어를 발명해 낼 수 있을까요? 질문의 심장부예요.

사전 학습 사례는 Chinchilla 스케일링 적합 곡선에서, 강화 학습 사례는 ScaleRL에서 와요. 추론 행은 앞서 논한 테스트 시간 수학 곡선을 보여 줘요. 목표는 데이터와 컴퓨트에 대한 수확이 더 좋아지고, 편평해지기 전까지 이득이 더 오래 이어지는 거예요.

자동화하고, 병렬화하고, 탐색할 수 있는 작업으로는 쉬운 AI 개선이 이뤄질 거라고 봐요. 하지만 아주 큰 이득, 폭주하는 RSI에는 개념적 돌파구가 필요할 거라고 생각해요. 그래서 각 모델의 지능이 그렇게 중요한 거예요.

기억할 점은, 이런 부류의 수확 체감은 머신러닝에서 30년 넘게 관찰돼 왔다는 거예요. 거듭제곱형 학습 곡선은 1993년에 측정됐어요. 우리가 아는 머신러닝의 근본적 특징인 것 같죠. 그게 쉽게 바뀌리라 가정하거나, 수확 체감 없이 AI를 개선할 방법을 갑자기 찾으리라 기대하면 안 돼요. 그건 혁명이나 다름없을 테니까요. 그런 길을 발견하는 것 자체가 훨씬 똑똑한 마인드를 요구할 수도 있고, 우리가 신경 쓰는 문제들 전반에서 학습의 수학이 그걸 허용할지도 알 수 없고요.

큰 개선이 없었다는 뜻은 아니에요. 트랜스포머와 추론 모델은 이 분야를 어마어마하게 앞으로 밀었죠. 하지만 지난 글에서 봤듯 폭주하는 피드백 루프는 장애물을 거듭 제치고 나갈 만큼의 가속을 계속 유지해야 해요. 아이디어가 점점 찾기 어려워지면 오늘날의 진전 속도를 유지하는 데만 해도 더 빠른 연구 페이스가 필요할 수 있어요. 앤트로픽의 평가에 따르면 AI 진전의 현재 속도를 유지하는 데조차 더 나은 AI 도구가 필요해지고 있다고 해요.

사례 하나: GPT-5.6의 사이버보안 이득은 에이전트가 늘수록 줄어들어요

OpenAI의 GPT-5.6 Sol 결과가 사이버보안에서 유용한 사례를 줘요. SEC-Bench Pro는 소프트웨어 취약점의 개념 증명 시연을 만들어 내는 능력을 시험해요. 특정 보안 과제이지 코딩 능력 일반의 척도는 아니에요. 보고된 최고 점수는 에이전트 1개에서 약 71.2, 4개에서 74.3, 16개에서 76.4예요.

이 에이전트들은 OpenAI의 울트라 구성으로 조율할 수 있었어요. 단순히 독립된 추측을 쌓아 올린 게 아니라, 이미 협업에 대한 시험이에요. 점수는 같은 컴퓨트 비교가 아니라 예산을 달리하며 보고된 최고 결과들이에요.

사례 둘: OpenAI의 수학 성과에는 에이전트보다 더 똑똑한 모델이 더 크게 기여했어요

OpenAI가 나비에-스토크스 결과를 발표했을 때 1만 개 에이전트는 엄청난 흥분을 불렀어요. 놈 브라운을 인터뷰하며 드워케시 파텔은 그렇게 짧은 실행에 집중된 ‘인지 노력의 규모’에 충격을 받았다고 말했죠.

하지만 그 추가 에이전트는 얼마나 기여했을까요? o1 개발을 도왔고 지금은 멀티 에이전트 시스템을 연구하는 OpenAI 리서처인 브라운은 단호했어요.

그는 더 똑똑한 근간 모델에게 공을 돌려요. OpenAI는 군집의 기여를 분리해 볼 단일 에이전트 실험을 돌리지 않았었죠. 브라운의 추정은 어디까지나 판단이지만, 에이전트의 숫자 그 자체가 결정적 재료였다는 생각에 정면으로 맞서는 말이에요.

사례 셋: 형식 수학 증명의 이득은 Opus 5.5 에이전트 10개 이후 가파르게 줄어들어요

형식 수학 작업은 AI 연구에 필요할지 모르는 개념적 돌파구와 특히 닮아 보여요. 타당한 추론의 사슬을 요구하고, 때로는 문제 전체를 다룰 수 있게 만드는 새 통찰을 필요로 하죠. 기존 수학의 형식화가 새 학습 알고리즘의 발명과 같진 않지만, 살펴볼 만한 사례예요.

이 에이전트들은 소통하고, 한 대의 머신과 Git 저장소를 공유하고, 작업을 체계화할 수 있었어요. 에이전트 백 개 팀은 서브 리드 열두 명을 둔 위계 조직까지 만들었죠. 같은 하루 동안 10개 팀보다 총 에이전트 실행 시간을 열 배 쓸 수도 있었고요. 측정된 토큰 열 배 증가는 아니지만, 더 큰 팀에게 훨씬 넓은 작업 여유를 줬어요.

그래도 고개를 넘지 못했어요. 앞으로도 그러리란 보장은 없지만, 여기의 수확 체감은 놀랄 만큼 가파르고, 정체를 향하고 있을 가능성도 있어요.

형식 수학 증명의 정체가 시사하는 것

Opus 5.5는 이전 모델들보다 똑똑한 상태로 출발해서 ProgramBench에서도 병렬 에이전트로 더 큰 속도 향상을 얻어요. 추가 에이전트를 쓸모 있게 일시키는 능력이 분명히 있는 거죠. 그런데 왜 이 수학 증명에서 지능 이득은 거의 멈추는 걸까요? 두 가지 가능성이 눈에 띄어요.

• 남은 작업이 병렬화하기 어려울 수 있어요. 뒤 단계는 앞선 결과를 이해해야 진행되니까요.
• 남은 문제들이 아무리 많은 사본을 돌려도 모델이 찾지 못하는 통찰을 필요로 할 수 있어요. 에이전트 개체수나 속도보다 지능이 더 중요할 수 있죠.

원인을 분리해 내진 못했어요. 하지만 사본을 천 개 만든다고, 한 사본이 놓친 통찰이 저절로 채워지진 않아요.

사례 넷: 수학 증명에서는 에이전트 10배보다 더 똑똑한 모델이 이겨요

Astra의 선을 대충 외삽해 보면 내부 모델의 가장 낮은 점수를 따라잡으려면 내부 모델의 약 300배 컴퓨트가 필요하다는 계산이 나와요. 그 외삽 자체도 불확실하고요. Astra가 그보다 훨씬 적은 컴퓨트로 내부 모델의 결과를 따라잡아 보기도 전에 그냥 정체해 버릴 가능성도 충분해요.

다양성은 어떨까요?

X-MAS와 애치슨 등의 예측 연구를 포함한 다른 접근들은 서로 다른 모델을 조합해서 쓸모 있는 이득을 찾았어요. 하지만 이 결과들 중 어느 것도 팀 확장을 여러 번 거치는 동안 이어지는 개선을 보여 주진 않아요. 첫 연구는 편평해짐을 직접 보여 주고, 다른 연구들은 더 좁은 범위를 시험했죠.

오늘날 모델들이 그저 충분히 다양하지 않은 걸지도 몰라요. LLM은 놀랄 만큼 비슷한 아이디어를 내곤 하죠. 이 마인드들을 길러 내는 방식에 더 큰 변화가 필요한지도 몰라요. 더 의도적으로 다른 에이전트들이 곡선을 바꿀 수 있을지는 나중에 다시 돌아올게요.

멀티 에이전트가 집단 지능을 끌어올린 최고 사례들

위 사례들은 모두 준로그형 스케일링, 대략 가장 어려운 부류에 속해요. 그래도 일부 실험은 조금 더 만만한 수확 체감, 곧 병렬 작업을 늘릴 때마다 대충 같은 이득을 보여 주기도 해요. 이게 로그형 스케일링이에요. 낫긴 해도 여전히 가파른 수확 체감이고요. AI 개선 하나하나가 더 찾기 어려워지는 동안 쓸모 있는 연구가 이 꼴로 자란다면, 십억 개 에이전트라 해도 자가 유지 RSI 루프를 그럴듯하게 만들지 못해요.

소통하는 팀에서 나온 고무적인 결과들도 있어요. 웹 리서치의 Argus와 마이크로소프트·버클리의 ARC-AGI-3 연구가 그렇죠. 후자는 에이전트 1개에서 5개로 늘릴 때 유난히 강한 이득을 발견했어요. 주목할 만한 결과들이지만, 훨씬 큰 팀에서 무슨 일이 벌어지는지는 아직 봐야 해요.

로그형 이득은 앞서 본 준로그형 곡선보다는 나아요. 열 배 확장 때마다 점점 작아지는 게 아니라 같은 크기의 추가 증분을 계속 사 줘요. 하지만 두 모양 모두 자가 유지나 폭주 RSI의 가설적 모델들이 가정하는 연구 이득보다는 극적으로 천천히 오르죠. 나란히 놓고 볼까요.

어떤 문제가 가장 잘 확장될까

이게 폭주하는 RSI에 주는 의미

백만, 십억 개의 병렬 AI가 우리를 자가 유지나 폭주 RSI까지 데려다줄까요? 계산을 해 봐요.

가설적 소프트웨어 RSI 모델들은 늘어나는 AI 연구자가 훨씬 큰 발견의 흐름을 만들어 낸다고 가정해요. 그 발견들이 AI를 더 싸고 생산적으로 만들어 다음 차례 연구가 또 자라게 하죠.

속도의 이득과 잘 정의된 공간을 더 넓게 탐색하는 데에는 강한 논거가 있어요. 앞서 봤듯이 속도 이득조차 힘을 잃을 수 있지만요. 지능은 병렬 에이전트로 끌어올리기가 훨씬 어려워요. 여러 실험에서 최고 문제 해결 성능(여기서 제가 지능이라 부르는 것)은 속도보다 극적으로 천천히 오르죠.

오늘날 가설적 RSI 모델들은 이 실제 세계 실험들에서 본 적 없는 추가 AI 연구자의 이득을 가정해요. 루프에서 인간을 빼낸다고 공유된 맹점이나 순차적 의존이 없어지진 않아요. 오늘날 모델의 사본을 더 붙이는 게 반복되는 개념적 돌파구에 필요할지 모르는 지속적인 지능 이득을 보여 주지도 못했고요.

에이전트는 스케일링을 더 잘하게 될까

더 나은 AI 모델이 작업을 에이전트들에게 나누는 능력, 곧 문제를 쪼개고 협력자를 관리하고 찾아낸 것을 합치는 능력이 더 좋아지리라고 봐요. 프로그램 재구성의 속도에서는 이미 진전을 봤어요. 수학 결과에서 더 나은 멀티 에이전트 지능 스케일링으로 향하는 뚜렷한 추세는 아직 못 봤고요. 이내 다시 얘기할게요.

먼저 고무적인 유사 사례 하나. 단일 에이전트 사고 시간 스케일링이에요. 토비 오드의 분석에 따르면, 추가 시간이 인간에게 주는 상대적 이득이 이 AI들이 추가 추론 토큰에서 얻는 이득보다 커요. 의외로 들릴 수 있죠. 그런데 최신 모델일수록 이 사이버보안 과제들에서 인간 기준선에 가까워지고 있어요.

멀티 에이전트 스케일링은 아니지만 고무적이에요. AI가 더 많은 사고를 더 어려운 과제 해결로 바꾸는 데 서툴렀는데, 그 스케일링 파라미터가 좋아졌어요. 언젠가 인간 기준선을 넘길 수도 있고요. 제가 폭주 RSI를 임박한 일로 보지 않으면서도 이런 역량이 바뀌면 더 그럴듯해질 수 있다고 생각하는 이유 중 하나예요.

에이전트가 상투에서 빠져나와 더 많은 사고 시간을 생산적으로 쓰게 돕는 새로운 발견들도 있어요. 새로 나온 Fork-and-Flush 연구는 쌓아 온 작업은 유지하되 새로운 대화 맥락에서 시작하는 병렬 분기를 주기적으로 만들고, 가장 좋은 분기에서 이어가요. 같은 컴퓨트 예산에서 13가지 연구·엔지니어링 과제에서 결과를 개선했죠. 추가 작업을 더 효과적으로 쓰는 구체적인 연구 방향이에요.

더 나은 멀티 에이전트 스케일링이 안 오겠다는 뜻은 아니에요. 랩들이 조율에 공을 들일 거라고 봐요. 사고의 다양성을 끌어올리는 건 더 열려 있는 연구 과제지만, 충분한 노력을 들이면 최소한 다룰 만해질 거라고 믿어요. 문제의 구조가 가장 단단한 한계를 부과할 수도 있어요. 어떤 발견은 다음 쓸모 있는 단계가 가능해지기 전에 먼저 일어나야 하니까요. 이 제약들이 각각 얼마나 기여하는지는 아직 몰라요.

더 다르게 생각하는 마인드를 만들 수 있을까

프런티어 모델들은 크게 보면 같은 훈련 재료를 많이 공유해요. 겹치는 공개 데이터, 비슷한 알고리즘, 유사한 추론·코딩 연습이죠. 그렇다면 이 마인드들은 실제로 얼마나 다를까요?

Artificial Hivemind 연구는 모델들의 개방형 응답에서 놀랄 만큼의 유사성을 발견했어요. 467명이 참여한 창의성 연구에서도 AI 응답을 더하는 다양성 기여가 결국 인간 응답을 더하는 것보다 작아진다는 걸 찾았고요. 이 실험들은 이런 과제에서 AI 에이전트가 같은 수의 인간보다 사고의 다양성을 덜 가져올 수 있음을 시사해요. 병렬 에이전트에서 얻을 수 있는 게 그만큼 제한될 수 있겠죠.

에이전틱 스케일링 개선을 어떻게 측정할까

지난 글에서 얘기했듯 우리는 여기서 빈약한 데이터에 기대고 있어요. 이 모델은 틀릴 수 있어요. 아니면 새로 나오는 AI 버전들이 병렬 작업을 충분히 잘하게 되어 이 수확 체감이 바뀔 수도 있고요. 그렇게 된다면 우리는 그걸 알아차려야 해요.

특히 실제 랩 내부의 AI 연구에서 이 추세를 추적해야 해요. 새 모델들이 더 큰 팀에서 더 큰 이득을 얻고 있나요? 그 팀들이 더 많은 검증된 발견과 더 나은 후계 모델을 만들어 내고 있나요? 거대 병렬 팀이 RSI에 필요할지 모르는 개념적 돌파구에 가까워지고 있는지를 알려 주는 건 바로 그거예요.

앤트로픽 테스트, 그리고 제 생각을 바꿀 것들

관대한 가정을 하나 해 봐요. 에이전트 시간 한 시간이 인간 연구 시간 한 시간만큼 가치 있다, 그리고 인간 연구자 수는 그대로라는 가정이에요. 에이전트는 주 168시간 내내 돌아갈 수 있죠. 앤트로픽의 실행 시간 비율은 이미 그 추가 가동 시간을 40시간 인간 주간에 대한 비율로 잡아 두었어요.

이 가정대로라면 7월의 에이전트 9시간에 인간 1시간을 더한 것은 순수 인간 노동의 10배예요. 8월의 총계는 20배죠. 하지만 앤트로픽은 4월에도 이미 인간 시간당 에이전트 시간 약 1시간이 있었어요. 그 관측된 기준선과 비교하면 총 노동은 7월까지 5배, 8월까지 10배로 자란 셈이에요.

그럼 연구 속도는 어떻게 될까요? 추가 노동을 병렬 연구 노력으로 취급해 볼게요. 데이비드슨과 홀든의 관계식은 실험 컴퓨트가 병목이 되는지에 따라 8월까지 4월 연구 페이스의 약 2~4배를 뜻해요. 제프리 힌턴과 요슈아 벤지오를 포함한 앨런 찬 등이 쓴 노동 지수를 적용하면 약 25배가 나와요. 로그형 스케일링은 페이스 약 두 배, 우리의 준로그형 모양들은 1.1~1.8배쯤만 줘요.

이제 연구 페이스를 Epoch Capabilities Index(ECI)T5로 바꿔 볼게요. 소프트웨어 연구가 기준 역량 개선의 절반을 공급하고 컴퓨트 성장의 기여는 그대로라고 가정하면, 소프트웨어 페이스 네 배는 전체 ECI 기울기 약 2.5배를 뜻해요. 네 배가 아니에요. 소프트웨어 부스트는 이미 깎아서 잡아 둔 거예요. 다른 장애물이 더 깎을 수도 있고요.

로그형 스케일링과 데이비드슨-홀든의 거듭제곱 0.3이 거의 나란한 이유는 뭘까요? 4월에서 8월까지는 노동이 열 배 늘어난 것뿐이에요. 그 규모에서는 두 보정 모두 소프트웨어 페이스 약 두 배를 줘요. 에이전트 100개, 그다음 십억 개 규모가 되면 가설적 거듭제곱 곡선이 실험적으로 관측된 로그형·준로그형 스케일링 규칙들을 크게 앞지르죠.

5월 말쯤에는 에이전트가 이미 인간 시간당 3시간쯤을 기록하고 있었어요. 우리 가정으로 4월 총 노동의 두 배죠. 6개월 지연이라면 그 이른 신호는 11월쯤 도착할 거예요.

이 시험들에는 시간당 가치가 같다든지, 추가 실행 시간을 병렬 노동으로 친다든지 하는 여러 가정이 깔려 있어요. 다른 분들이 이를 어떻게 보는지에 따라 다듬을 준비가 돼 있어요. 측정할 때는 개발과 공개 지연을 감안해서, ECI 점수가 릴리스를 거듭하며 오르는 비율로 AI 개선 페이스를 판단해야겠죠.

제 예상, 그리고 제가 틀렸다면 갱신할 방법

개인적으로 2027년 상반기까지 앤트로픽의 AI 진전(ECI 기준)이 지속적인 가속을 보이리라고 기대하지 않아요. 데이비드슨과 홀든이나 찬 등의 가설적 모델에서 단순 외삽한 것만큼 큰 가속은 더더욱요. 굳이 말하면 차트 아래쪽 준로그형 스케일링 막대의 낮은 끝에서 가속이 올 것으로 봐요.

제가 틀릴 이유는 많아요. 서로 다른 AI 훈련 파라미터의 병렬 탐색이나, 새로운 RL 환경을 코딩하는 AI의 활용, AI가 문헌의 기존 아이디어를 조합해 얻는 이득이 모두 제 기대보다 큰 차이를 만들 수 있어요. 아니면 AI 개선의 다음 증분에서 AI가 머신러닝 이론에서 훨씬 큰 진전을 이루어, 추론 모델이 그랬듯 스케일링 법칙과 AI가 직면한 다른 수확 체감을 휘어지게 만들거나 새로운 스케일링 축을 추가하게 될지도 모르죠.

반면 병렬 탐색과 기존 아이디어의 재조합이 더 늘어나는 건 거의 틀림없어 보여도 그게 엄청난 이점을 가져다주진 않을 수 있고, 오늘날 우리가 만드는 AI가 개념적 돌파구를 찾지 못할 수도 있어요. 게다가 AI에서 아이디어가 실제로 점점 찾기 어려워지고 있을 테고, 그게 AI가 자기 개선에 쓸 수 있는 늘어난 역량의 일부를, 어쩌면 전부를 잠식해 버릴 수도 있죠.

두고 볼 문제예요. AI 개선 속도가 유의미하게 올라가는 게 보이면, 데이터가 보여 주는 비율만큼 제 견해를 갱신하겠어요.

요약하면, 당분간 멀티 에이전트 스케일링은 모델 지능, 곧 개념적 돌파구에 도달하는 능력에 대해 놀랄 만큼 가파른 수확 체감을 보여 줘요. 저는 그런 부류의 돌파구가 큰 AI 진전과 자가 유지 RSI에 필요하고, 폭주하는 지능 폭발은 말할 것도 없다고 봐요. 동시에 우리 모두는 너무 적은 실제 세계 데이터 위에서 움직이고 있어요. 지금과 앞으로 몇 달, 몇 년 동안 우리가 할 수 있는 가장 중요한 일은 그 데이터를 엄격하게 모으고, 그걸로 미래 예측을 갱신하는 거예요.

역자 주

1. 나비에-스토크스 방정식(Navier–Stokes equations): 유체의 흐름을 기술하는 편미분 방정식이에요. “임의의 초기 조건에서도 항상 매끄러운 해가 존재하는가”를 묻는 문제가 클레이 수학연구소의 밀레니엄 문제 가운데 하나예요. ↩

2. 리산 알 가이브(Lisan al-Ghaib): 소설 『듄』에서 “다른 세계에서 온 예언자”를 뜻하는 말이에요. 여기서는 링크된 서브스택 글의 필자를 가리키는 이름으로 쓰였어요. ↩

3. Lean: 증명을 형식 언어로 써 내려가 컴퓨터가 논리적 오류가 없는지 검증하게 하는 증명 보조 도구예요. 수학자와 AI 연구자가 증명의 타당성을 기계로 확인할 때 써요. ↩

4. ARC: 몇 개의 예시에서 규칙을 추론해 격자 패턴을 완성하는 추상적 추론 벤치마크(ARC-AGI)예요. 인간은 쉽게 풀지만 AI에는 오래 어려운 문제로 알려져 있어요. ↩

5. Epoch Capabilities Index(ECI): AI 분석 기관 Epoch AI가 여러 벤치마크를 묶어 프런티어 모델의 역량 개선 속도를 재는 지수예요. ↩