정리 경제의 몰락

게시일: 2026년 4월 26일 | 원문 작성일: 2026년 4월 21일 | 저자: 다비드 베시스(David Bessis) | 원문 보기

“수학이 만들어내는 산물은 명료함과 이해예요. 정리(theorem) 그 자체가 아니에요.”

— 빌 서스턴(Bill Thurston)

제가 가장 잘 만든 정리는 끝내 글로 옮겨 적지 않은 정리예요.

그 정리는 어느 화창한 아침 스위스 로잔에서, 마지막으로 초청받은 학회 발표를 준비하던 중에 결정처럼 맺혀 나왔어요. 증명이 너무도 자명해 보였고 결과 자체가 빨려 들어갈 만큼 매혹적이라, 저는 발표 직전에 슬라이드를 다시 손보는 무모한 짓을 저질러 버렸죠. 시간이 모자라 결국 그 결과를 정식 정리로 진술하지 못했고, 마지막 슬라이드 맨 아래에 비공식적인 한 줄 언급으로만 끼워 넣었어요.1

그때 저는 이미 학계를 떠나 머신러닝 스타트업을 차린 뒤였어요. 깔끔한 증명을 써서 출판할 여유 같은 건 없을 거란 걸 알고 있었죠. 그게 제가 자신에게 댄 핑계였어요. 그저 그 한 줄을 적고는 슬라이드 묶음을 유리병 편지(message in a bottle)처럼 내던져 버렸어요.

제 바람은, 언젠가 똑똑한 젊은 수학자가 이걸 주워들고 더 큰 이론의 일부로 형식화해 주는 거였어요. 인용과 귀속이라는 본질적으로 무작위한 게임에서 운이 따라 준다면, 어쩌면 베시스 셀 분해 정리(Bessis cellular decomposition theorem)로라도 기억될 수 있지 않을까 하는 생각도 했고요.

그런데 그건 멍청한 생각이었어요. 제가 미리 소유권을 주장해 버린 탓에, 다른 누군가가 그 결과를 정리해 줄 동기는 이미 사라진 뒤였거든요.

두 번째로 잘 만든 결과를 꼽자면, 가르사이드 범주에 관한 제 옛 프리프린트(preprint)의 정리 0.5(Theorem 0.5)예요. 이 논문에 야심을 잔뜩 실었지만, 결국 어디에도 투고하지 않은 채 끝났어요. 창작 과정 자체가 저를 다 비워 버렸고, 도입부를 다듬을 용기를 되찾기도 전에 현역 연구에서 손을 떼고 말았거든요.

두 번째로 잘 만든 결과치고는 증명이 충격적일 만큼 쉬워요. 사전 준비만 제대로 갖추면, 평범한 군론 몇 페이지로 끝나거든요.

그 사전 준비도 그리 어렵지 않아요. 가르사이드 이론(Garside theory)이라 불리는 외진 하위 분야의 고전 논문 십여 편을 표절해서, 원래의 공리 집합을 살짝 더 일반적인 것으로 바꿔치우면 그만이거든요. 무엇을 해야 하는지만 알면 심각한 난관에 부딪힐 일이 거의 없어요. 그저 거대한 개념적 일괄 찾아바꾸기 작업일 뿐이에요. 다만 이 부분은 제 말을 그냥 믿어 주셔야 해요. 정작 필요한 수백 페이지짜리 세부 사항을 적어 내는 일 앞에서 제가 멈춰 버렸거든요.

수학자의 일에서 가장 어려운 부분이 정리를 증명하는 거라고 생각하신다면, 이건 그 반례라고 해 두죠. 정리 0.5를 떠올린 순간부터 저는 이미 그게 참이라는 걸 알고 있었고, 증명이 손쉽게 풀리리란 것도 알고 있었어요.

그렇다면 어려웠던 부분은 무엇이었을까요?

정확한 진술을 추측(conjecture)해서 글로 적어 두는 일?

그것조차 아니에요. 이 사례에서는 그것도 똑같이 쉬웠어요.

어려웠던 건 “정리 0.5 같은 무언가가 있어야 한다”는 직관에 도달하는 일, 그리고 그것을 자연스럽게 표현할 수 있는 개념적 틀을 짜내는 일이었어요. 정의(definition)들만 제대로 잡고 나면, 나머지는 거의 저절로 따라 나왔거든요.

연구 수학이 항상 이렇게 진행되는 건 아니지만, 가끔은 기적 같은 날이 있어요. 그냥 스키만 신었을 뿐인데, 정신을 차려 보면 어느새 비탈을 가속하며 내려가고 있는 거예요.

장피에르 세르(Jean-Pierre Serre)는 자신의 연접층(coherent sheaves)에 관한 혁명적인 논문을 쓰는 데 사고가 거의 필요 없었다는 유명한 말을 남겼어요. 모든 것이 너무 자연스럽게 제자리를 찾아 들어가서, 마치 그 논문이 미리 존재하기라도 한 것처럼, 자기 타자기가 100페이지를 혼자 다 쳐 냈다는 거예요.

하지만 저는 장피에르 세르가 아니었고, 그는 자기 타자기를 빌려주지도 않았어요. 그게 바로 제 가장 빛나는 수학적 아이디어가 끝내 출판되지 못한 이유예요.

그게 슬프냐고요? 딱히 그렇진 않아요. 제 프리프린트는 여전히 arXiv에서 자유롭게 받아볼 수 있고, 이미 수십 차례 인용됐어요. 그중에는 꽤 번듯한 논문들도 있고요. 진짜 혁신은 정리 0.5가 아니라 그걸 가능하게 만든 언어, 특히 정의 2.4와 정의 9.3이었어요. 그리고 그 언어는 결국 700페이지짜리 가르사이드 이론 책 속으로 흘러 들어가, 빠져 있던 사전 준비의 상당 부분을 채워 줬어요.

솔직히, 제가 가장 혁신적인 프리프린트를 희생한 데에는 이기적인 이유도 있었어요. 그 덕분에 더 지루한 쪽 프리프린트에 집중할 수 있었거든요. 거기서 저는 정의 9.3을 마법의 재료처럼 써서 제 분야의 고전적 문제 하나, 즉 유한 복소 반사군(complex reflection groups)에 대한 K(π,1) 추측을 풀어 냈고, 그 결과 수학자로서 제 상징적 위상이 한 단계 완전히 올라가 버렸어요.

하지만 진실을 말하자면, K(π,1) 추측을 푼 다비드는 사회적 기생충에 가까워요. 정의 2.4와 9.3을 빚어낸, 훨씬 더 훌륭한 수학자인 다비드에게 들러붙어 사는 거죠.

명예 규약을 깨뜨리며(Cracking the honor code)

지난 몇 달간 AI와 수학을 둘러싼 상황이 빠르게 변하는 걸 두고 씨름하면서, 저는 스스로 예상했던 것보다 훨씬 더 마음이 어지러웠어요.

이론적으로 보면 저는 만족스럽고 행복해야 마땅해요. 그런데 실제로는 어리둥절하고, 걱정스럽고, 슬프기까지 해요.

제 안의 행복한 부분은 진짜 혁명을 목격하며 들떠 있어요. 만족스러운 부분은 자신이 과학적으로도 인식론적으로도 이 변화를 미리 준비해 왔다고 정당하게 주장할 수 있죠. 어리둥절한 부분은 그 일정과 거기에 따라붙는 광기에 얼이 빠져 있고요. 슬픈 부분은 한 생활 방식과 가치 체계에 향수를 느껴요. 한때 제가 몸담았다가 떠나온, 그리고 머지않아 사라질지도 모르는 그런 세계요.

걱정스러운 부분이 이 모두를 종합해요. 일반 대중이 수학에 대해 잘못된 인식을 갖고 있다는 건 늘 알고 있었지만, 그게 학문 그 자체에 대한 실존적 위협이 될 줄은 정말로 예상하지 못했거든요.

제 책 Mathematica: a Secret World of Intuition and Curiosity에서 저는 그 오해를 두 가지 버전의 수학, 즉 공식 수학(official math)과 비밀 수학(secret math) 사이의 긴장으로 풀어냈어요.

공식 수학은 공리에서 출발해 기계적으로 정리를 도출해 내는 형식적 연역 체계로 모습을 드러내요. 너드의 천국이고, 진리가 이진값을 갖고 추론은 타당하거나 부당한 둘 중 하나이며, 원칙적으로 헛소리가 끼어들 자리가 없는 세계예요.

비밀 수학은 이 이야기의 인간적인 부분이에요. 공식 수학은 왜 발명되었는가, 우리는 그것과 어떻게 성공적으로 상호작용할 수 있는가, 그것이 우리 뇌에 어떤 영향을 끼치는가, 수학자들이 그 영토를 끝없이 넓혀 나갈 때 쓰는 기묘한 정신적 기법들은 무엇인가, 이런 이야기죠.

비밀 수학은 끝내 교과 과정에 들어오지 못했어요. 공식 수학을 정의하는 그 특질들이 빠져 있는 데다, 어딘지 변두리처럼 느껴지기 때문이에요. 공식 수학은 차갑고 단단하고 논리적이며 객관적이고, 우주의 언어라는 소문까지 따라붙어요. 비밀 수학은 무르고, 흐릿하고, 주관적이라, 그에 비하면 값싼 교육용 사연(backstory)처럼 보이거든요.

그러니 직업 수학자들이 자기 일에 대해 그토록 분열적인 시각을 가진 것도 이상한 일은 아니에요.

직관 클럽의 첫 번째 규칙은요, 직관 클럽에 대해 떠들지 않는다는 거예요.T1 두 번째 규칙은, 정 직관에 대해 이야기하고 싶다면 가볍고 곁다리인 양 굴어야 한다는 것. 우리는 심리학과가 아니거든요. 세 번째 규칙은, 정의는 0점, 해설은 마이너스 점수, 그리고 가장 좋은 자리는 가장 어려운 정리를 증명한 사람에게 돌아가야 한다는 거예요.

제가 과장한다고 생각하시면, G. H. 하디(G. H. Hardy)가 자신의 유명한(그리고 동시에 견디기 힘든) 수학적 자서전T2에 적어 둔 다음 구절을 보세요.

해설하는 자에 대해 만들어내는 자가 품는 경멸보다 더 깊고, 또 전체적으로 보아 더 정당한 경멸은 없다. 해설, 비평, 감상은 이류의 두뇌가 할 일이다.

이건 분열의 절정이에요. 닫힌 문 뒤에서 수학자들은 ‘하디의 저주’에 대해 곧잘 불평해요. 자기 자신이 주제를 이해하기 위해서라도 가르치는 일이 얼마나 중요한지 강조하고요. 시스템이 정리 증명의 우선권(theorem-proving priority)에 병적으로 집착하는 것도 한탄해요. 정작 진짜 힘든 작업은 그 회로 바깥, 즉 이미 나와 있는 결과를 이해하려 애쓰는 시간에 일어난다는 걸 모두가 알면서도 말이죠. 그러나 공적인 자리에서는 모두가 수학자의 명예 규약(honor code)에 묶여 있어요. 정리를 증명하라, 그리고 입을 다물라!

예외가 하나 있긴 해요. 일단 필즈상을 받고 나면, 무슨 말이든 마음대로 할 수 있어요.

1982년 필즈상 수상자인 빌 서스턴(Bill Thurston)은 그 명예 규약에 거침없이 맞선 인물이었어요. 세상을 떠나기 2년 전, 그는 자신감 없는 한 학부생의 질문에 답하며 MathOverflow에서 벌어진 비범한 대화에 끼어들었어요.

저(같은 사람)가 수학에 무엇을 기여할 수 있을까요?

제 보기에 수학은 가우스나 오일러 같은 사람들이 만들어 가는 것이고, 그들의 작업을 배워 이해하는 일은 가능하더라도 새로운 것이 창조되지는 않아요. 그들의 책을 현대적인 언어와 표기로 다시 쓰거나 다른 사람들이 그것을 배우도록 안내할 수는 있겠지만, 저는 그것이 수학자가 하는 일의 핵심이라고는 한 번도 믿지 않았어요. 그 핵심은 결국 독창적인 수학을 새로 만들어내는 일이겠죠. 이렇게 똑똑한 사람들이 이렇게 열심히 수학을 하고 있는 마당에, 저 같은 사람에게 남은 게 정말 있기는 한 걸까요… 어쩌면 제 가치는 일종의 총알받이로서 더 잘 쓰일지도 모르겠어요. 충분히 많은 사람을 들이밀기만 하면 결국 어떤 장벽은 뚫릴 테니까요.

서스턴이 끼어들었어요.

당신이 기여해야 할 대상은 수학 자체가 아니에요. 그보다 더 깊은 것, 즉 수학을 함으로써 인류에게, 더 깊게는 세계의 안녕에 어떻게 기여할 수 있을까 하는 거예요. 이런 질문은 순전히 지적으로만 답할 수 없어요. 우리 행동의 결과는 우리의 이해를 한참 넘어서니까요. 우리는 깊이 사회적이고 깊이 본능적인 동물이라, 우리의 안녕은 지적으로 설명하기 어려운 수많은 행위에 달려 있어요. 그러니 마음과 열정을 따르는 편이 좋아요. 맨 이성만으로는 길을 잃기 쉽거든요.2 우리 중 누구도 이 모든 걸 머리만으로 풀어낼 만큼 똑똑하거나 현명하지 않아요.

수학이 만들어내는 산물은 명료함과 이해예요. 정리 그 자체가 아니에요. 예컨대 페르마의 마지막 정리나 푸앵카레 추측처럼 그토록 유명한 결과들조차, 그것이 정말로 중요한 진짜 이유가 있을까요? 그 진짜 중요성은 구체적인 진술 자체가 아니라, 그것들이 우리의 이해에 던진 도전, 그리고 그 도전이 다시 우리의 이해를 키워 준 수학적 발전을 이끌어 냈다는 데에 있어요…

수학은 살아 있는 수학자 공동체 안에서만 존재해요. 옛 아이디어든 새 아이디어든 그 안에서 숨을 얻고, 이해가 퍼져 나가니까요. 수학에서 진정한 만족은 다른 사람들로부터 배우고 다른 사람들과 나누는 데서 와요. 우리 모두는 몇 가지에 대해서는 또렷한 이해를 가지고 있고, 훨씬 더 많은 것에 대해서는 흐릿한 개념만 가지고 있어요. 명료해져야 할 아이디어는 결코 동날 수 없어요…

여기서 잠깐 형이상학적인 옆길로 새야겠어요. 그러지 않으면 서스턴의 말이 너무 쉽게 “기분 좋으라고 하는 소리”나 “감성팔이” 정도로 치부되거든요.

제 첫 서브스택 글에서 저는 (반쯤 농담으로) 우리가 2,300년 동안 수학에 대해 잘못 생각해 왔다고 선언한 적이 있어요. 형식주의(formalism)(“수학은 의미 없는 형식 기호 게임이다”)와 플라톤주의(Platonism)(“수학은 이데아 세계에 실재하는 대상의 성질을 포착한다”) 사이의 거짓 양자택일에 갇혀 있었다고요.

제가 제안한 개념주의(conceptualism)적 해법은 서스턴의 시각을 다시 풀어 쓴 것이에요. 수학은 분명 의미 없는 형식 기호 게임에 의존해요. 다만 우리가 그 게임을 하는 까닭은, 우리가 거기에 의미를 투사하기 때문이에요.

의미는 인지적 현상이에요. 우리 신경 구조가 만들어내는 산물이지, 초월에 곧장 닿는 통로가 아니에요.

우리가 “수학을 한다”고 할 때, 우리는 형식 표현을 조작하면서 그것이 무엇을 가리키는지에 대한 직관적 감각을 차츰 길러 가요. 마치 그 표현들이 플라톤적 의미에서 “실재하는” 대상에 대한 포인터인 것처럼요. 플라톤주의자들은 이 신경가소성의 부산물을 액면 그대로 받아들여요. 형식주의자들은 그것을 곁다리로 봐요. 저 같은 개념주의자는 수학을 인류라는 종에게 핵심적인 인지 인프라로 바라봐요.

자연스러운 질문이 따라와요. 왜 개념주의적 해법이 출현하는 데 이렇게 오래 걸렸을까요? 한 가지 이유는 그것이 지배적인 영성주의 세계관에 거스른다는 점이에요. 그 세계관은 수학에 대한 물리주의적 해석을 거부하거든요.

또 하나는 개념주의가 수학자들의 명예 규약에 정면으로 거스른다는 점이에요. 하디의 저주는 너무도 강력해서, 서스턴조차 그것을 넘어서기를 어려워했어요. 여러 MathOverflow 사용자들이 그의 답변에 감사를 표하자 그는 이렇게 덧붙였죠.

댓글들 고맙습니다. 저는 진짜처럼 느껴지는 것을 쓰려고 노력해요. 이제 와선 제가 어떻게 평가받을까 두려워할 이유가 없어, 그게 훨씬 수월해요. 제 안의 진짜가 다른 누군가에게도 의미 있다는 것은 흐뭇한 일이에요.

그렇다면, 어떻게 이런 해로운 명예 규약이 그토록 오래 살아남을 수 있었을까요?

답은 간단해요. 명예 규약은 학문 분과로서의 수학에는 유용했어요. 수학이 유달리 건강하고 능력주의적인 분과로 남아 있도록 도왔거든요. 제 책의 에필로그에 적었듯이요.

이 시스템에는 그 나름의 미덕이 있다. 자의성을 줄여 주고, 안주와 정실주의로부터 수학자들을 지켜 준다. 영원한 진리를 다루는 분과에서 이 시스템은 경력을 평가하는 깔끔한 방식을 제공한다.

명예 규약은 연구자 자신에게도 새로운 아이디어와 새로운 연구 방향을 평가하는 길잡이 역할을 해 줬어요. 수학의 두 얼굴인 개념 구축과 문제 해결은 공생 관계예요. 2018년 필즈상 수상자 페터 숄체(Peter Scholze)가 짚었듯이요.

제가 가장 신경 쓰는 건 정의예요. 우선, 인간은 언어를 통해 수학을 묘사하고, 늘 그렇듯 우리 생각을 분명히 표현하려면 예리한 표현이 필요하니까요… 안타깝게도 순수한 사고만으로는 올바른 정의를 찾을 수 없어요. 올바른 문제들을 찾아내야 하는데, 그 진전을 위해서는 새로운 핵심 개념을 분리해 내는 일이 꼭 필요하거든요.3

이 시스템은 수천 년간 이런 식으로 작동했어요. 수학자들은 새로운 개념을 도입해서 가치를 만들어냈지만, 정작 밥벌이가 되는 건 정리뿐이라는 것이 규칙이었죠. 이 거래가 그럭저럭 굴러갔던 건 두 측면이 거의 늘 나란히 함께 갔기 때문이에요. K(π,1) 추측의 공로를 가로챈 사회적 기생충 다비드는, 정의 2.4와 9.3을 빚어낸 다비드와 같은 사람이었으니까요.

큰 추측을 풀어낸다는 건, 당신이 진짜 새로운 개념적 혁신을 이뤄냈다는 일종의 암호학적 증명이나 마찬가지였어요.

제가 과거 시제로 말하고 있는 건, 이게 더 이상 그렇지 않기 때문이에요. 수학자들의 명예 규약에는 구조적인 취약점이 있고, AI는 이미 그 취약점을 체계적으로 파고들기 시작했어요.

바둑과 체스의 길(The way of Go and Chess)

이 글을 쓰게 만든 도화선은 제프 힌턴(Geoff Hinton)의 한 연설이었어요. 듣고 있다가 허를 찔렸거든요.

저는 데미스 허사비스(DeepMind 대표)와 의견이 같습니다. 그는 오랫동안 AI가 과학적 진보에 매우 중요해질 거라고 말해 왔어요…

그게 특히 쉬운 한 분야가 있는데, 바로 수학이에요. 수학은 닫힌 시스템이거든요…

저는 AI가 사람보다 수학을 훨씬 잘하게 될 거라고 봅니다. 아마 앞으로 10년쯤 안에요. 그리고 수학 안에서도, 바둑이나 체스처럼 규칙이 있는 닫힌 시스템과 무척 비슷하거든요…

일반 대중이 수학의 본성을 깊이 오해하는 거야 익숙한 일이었어요. 하지만 튜링상 수상자이자 노벨상 수상자가 수학을 바둑이나 체스에 비유하는 장면에는 마음의 준비가 되어 있지 않았죠.

저는 X에 짧은 답글을 남기고 그냥 넘어가려 했지만, 마음에 자꾸 걸려 떠나지 않았어요.

그러다 모든 게 한꺼번에 맞물렸어요. 약 1년 전쯤, 한 젊은 수학자 친구가 저를 찾아왔어요. 제 분야에서 박사학위를 받은 친구였죠. 그는 “순수 수학을 위한 AI” 사업을 구상하고 있었고, 저는 한동안 그를 멘토링했어요.

그 친구처럼, 그리고 힌턴이나 허사비스처럼, 저 역시 AI가 수학을 비롯한 과학 전반을 곧 뒤바꿔 놓을 거라고 완전히 확신하고 있었어요. 다만 비즈니스 모델과 최소 기능 제품(MVP)에 대해서는 확신이 없었죠.

수학자들은 러다이트(기계 파괴자)처럼 보일지 몰라도 좀처럼 그렇지 않아요. 펜과 종이, 칠판과 분필을 사랑하지만, 도널드 크누스의 조판 혁명에는 곧장 올라탔어요. 100년 전에는 자신들의 지식 스택 전체를 새 운영체제, 즉 집합론(set theory) 위에 다시 짓기로 했어요. 신뢰성과 확장성에서 막대한 이득을 약속하는 시스템이었거든요. 몇십 년 뒤에는 수학적 증명과 계산 사이에 본질적인 차이가 없다는 사실T3을 알아차리고는, 최초의 컴퓨터를 만드는 일에 직접 뛰어들었죠. 선형대수와 확률적 경사하강법을 잔뜩 쓰는 딥러닝 또한, 따지고 보면 수학이 낳은 자식이에요.

1970년대에 케네스 아펠(Kenneth Appel)과 볼프강 하켄(Wolfgang Haken)이 사색 정리(four color theorem)의 컴퓨터 보조 증명을 내놓았을 때, 격렬한 논쟁이 벌어졌어요. 이런 증명을 어떻게 인식론적으로 받아들여야 하는지, 그리고 동료심사 학술지가 그것을 인정해 줄지가 쟁점이었죠. 솔직히, 결과에는 별 긴장감이 없었어요. 야만인들이 이겼거든요. 어차피 양쪽 다 야만인이었으니까요.

컴퓨터는 늘 제 수학 인생의 일부였고4, AI와 자동 형식화(autoformalization)의 가능성은 오래전부터 제게 거역할 수 없는 매혹이었어요. 그래서 그 친구가 연락해 와 조언을 구했을 때 저는 흥분했죠.

그러다 “수학을 위한 AI” 분야를 들여다보기 시작했는데, 도무지 무슨 일이 벌어지고 있는 건지 이해할 수가 없었어요. 왜 이 스타트업들이 이렇게 큰돈을 모으고 있을까? 순수 수학은 시장 자체가 아주 작거든요. 투자 규모가 영 어울리지 않게 느껴졌어요.

제가 가장 마음에 들어 했던 전략, 만약 제가 했다면 골랐을 전략은 AI 시대의 울프럼 리서치(Wolfram Research)를 만드는 거였어요. 수학을 활용하는 과학·기술 시장은 순수 수학보다 훨씬 큰 시장이고, 울프럼이 보여 줬듯이 수학적 대상과 상호작용하는 경험을 단순화하고 제품화할 여지가 분명히 있어요. 사용자들은 그 제품을 사랑하고, 한 번 붙으면 잘 떠나지 않아요.

그런데 그 친구는 굳이 순수 수학에 특화된 무언가를 하고 싶다고 했어요.

저는 무슨 말을 해 줘야 할지 몰랐어요. 막혀 있었거든요. 떠올릴 수 있는 쓸 만한 제품이라곤 문헌 탐색기와 대화형 증명 보조 도구뿐이었는데, 패키징하기 어렵고, 가격 매기기는 더 어렵고, 팔기는 그보다도 훨씬 어려운 것들이었어요. 장기적인 사업 전략도 하나 보이긴 했어요. 다만 저라면 절대로 손대고 싶지 않은 종류였죠. AI 시대의 엘스비어(Elsevier)가 되는 것. 다시 말해, 과학계에서 가장 미움받는 브랜드가 되는 거예요. 수학이라는 공유 자원을 다시 포장해 사용자에게 강제로 떠넘기는, 팔을 비틀어 뽑아먹는 식의 독점 기업 말이죠.

세 번째 전략도 있긴 했어요. 다만 위험했고, 두 번째 전략과 마찬가지로 어느 정도의 냉소가 필요했어요. 저는 그걸 럭셔리 인수영입(luxury acquihire)이라고 부르겠어요. 1) 쓸모는 없지만 보기엔 충분히 인상적인 제품을 만든다, 2) 마치 거대한 과학적 문제를 풀어 낸 것 같은 인상을 준다, 3) 빅테크나 대형 AI 연구소가 빠르게 인수해 가기를 기도한다.

그래도 숫자가 들어맞지 않았어요. “수학을 위한 AI” 스타트업들이 수억 달러 규모의 투자를 유치하고 있다는 소문이 돌았거든요. 분명 제가 못 읽어 내고 있는, 더 영리한 투자 논리가 있을 거라고 생각했죠.5

그러던 중 구글이 나비에-스토크스 방정식의 존재성과 매끄러움 문제를 풀기 위해 대규모 노력을 이끌고 있다는 이야기를 들었어요. ‘아, 알겠다. 그건 밀레니엄 문제니까.’ 잠깐, 그래도 여전히 말이 안 돼요. 상금은 100만 달러, 사실상 푼돈이거든요. 어떤 위대한 수학자가 제게 이렇게 말했어요. 구글이 이 한 시도에 동원한 두뇌가, 아마 수학 공동체 전체가 이 문제에 쏟아부은 두뇌보다 많을 거라고요.

그러다가 힌턴의 연설을 듣고 나서야 비로소 이야기가 풀리기 시작했어요.

수학이 정말로 닫힌 시스템이라면, 혹은 그 자리에 둘러앉은 모든 이해관계자가 그렇게 믿어 줄 의향이 있다면, 투자 피칭은 시시하리만치 단순해져요. “DeepMind가 바둑과 체스를 풀었으니, 우리는 수학을 풀 겁니다!”

선두 AI 연구소들이 머지않아 인류가 쓸모없어진다는 데 수조 달러를 거는 시대잖아요. 그러니 인류의 자존심이자 백미라 할 수 있는 “수학을 풀어낸다”는 약속만큼 뿌리치기 어려운 게 또 있을까요.

총싸움에 캘리퍼를 들고 나간 격(Bringing a caliper to a gunfight)

2026년 2월 5일, 저명한 수학자 11명으로 구성된 팀(2014년 필즈상 수상자 마틴 해어러(Martin Hairer)도 포함)이 First Proof 프로젝트를 발표하면서, 10개의 “연구 수준 수학 문제” 첫 묶음을 공개했어요.

이 원고는 객관적이고 현실적인 방법론을 마련하려는 우리의 예비적 시도를 담고 있다. 즉, AI 시스템이 연구 수준 수학 문제를 자율적으로 풀어내는 능력을 어떻게 평가할지에 관한 방법론이다. 이 아이디어들이 커뮤니티 안에서 충분히 숙성된 뒤, 몇 달 후에는 좀 더 짜임새 있는 벤치마크를 내놓을 수 있기를 기대한다.

우리의 핵심 목표 중 하나는 AI 도구가 전문 수학자의 작업 흐름에서 어떤 역할을 할 수 있을지에 대한 정교한 이해를 발전시키는 것이다. 상용 AI 시스템이 이미 수학자에게 유용한 도구 수준에 도달했다는 점은 의심의 여지가 없지만, 전문가의 개입 없이 AI 시스템이 스스로 연구 수준의 수학 문제를 풀어내는 측면에서는 어디쯤 와 있는지 아직 분명하지 않다.

순수 과학적 관점에서 보면 흠잡을 데가 없어요. 정말 똑똑한 사람들이, 열린 마음과 창의적인 접근으로 현실 세계의 논쟁에 뛰어든 거니까요.

First Proof 팀은 모든 걸 제대로 하고 있었어요. 그리고 바로 그게 저를 두렵게 했어요.

설명을 시작하기 전에, 저는 이 프로젝트를 매우 높게 평가한다는 점을 다시 한 번 강조하고 싶어요. 이 팀은 수학 커뮤니티의 가장 좋은 모습을 대표해요. 호기심과 진정성에 이끌리고, 익숙한 영역 바깥으로 기꺼이 나가 실험하며, 진짜로 좋은 아이디어들을 내놓은 사람들이거든요.

다니엘 리트(Daniel Litt)는 훌륭한 에세이 바벨의 도서관 안의 수학(Mathematics in the library of Babel)을 썼어요. First Proof 프로젝트와 자신이 직접 겪은 AI-수학 상황에 대한 평가를 담은 글이죠. 그는 급진적인 비-러다이트(non-Luddite)예요. LLM과 수년간 직접 부딪혀 보고 최근의 진전에 진심으로 깊은 인상을 받은, 그런 순수 수학자의 시각이죠.

그는 First Proof의 미해결 문제 중에서 Google, OpenAI 등 여러 팀이 풀어낸 문제가 얼마나 많았는지에 깜짝 놀랐어요. 그가 직접 센 바로는:

모든 시도를 합쳐 보면, [10개의] 문제 중 6~8개 정도는 올바르게 풀렸을 가능성이 높아 보인다.

다만 진지한 단서들이 붙어요.

모델들(과 그것들을 감독한 인간들)은 어마어마한 양의 쓰레기를 쏟아냈다. Lean으로 형식화했다고 주장하는 잘못된 풀이도 일부 있었다. 가장 좋은 모델/스캐폴드조차 자신이 헛소리를 하고 있는 시점을 안정적으로 감지하지 못하는 것 같았다.

AI-수학 시스템이 자율적으로 작동한다고 해도(현재 라인업 중 실제로 그런 건 거의 없지만), 작업의 앞단과 뒷단 양쪽에서 인간의 개입이 여전히 필요해요. 결과를 평가하고 쓰레기를 걸러내려면요. 이건 일화 수준의 얘기가 아니에요. AI 연구소들이 이 프로젝트들에 들이붓는 인간 지능의 양은 어마어마해서, 현실의 어떤 수학자도 동원할 수 없는 수준이거든요. 그래서 어디까지가 AI의 몫이고 어디부터가 사람의 몫인지 도무지 명확하지 않아요. 가장 결정적인 사례가 이거예요.

OpenAI는 자신들이 First Proof에 제출한 풀이 중 어느 것이 맞는지조차 분명히 알지 못했다.

다시 말해서, 그 정겨운 옛 학계 커뮤니티가 무료 봉사로 검토해 주지 않았다면, 그들은 영영 몰랐을 거예요. (리트 본인이 그 기여자 중 한 명이었어요.)

사실 이건 인간이 만든 증명에도 똑같이 적용돼요. 그런데 결정적이면서도 미묘한 차이가 하나 있어요. 인간이 수학을 하는 방식에서는 정리 증명과 개념 구축이 손을 잡고 함께 가요. 덕분에 증명은 이해 가능해지죠(설령 그것이 저자 자신에게만이라도요).

여기서 형이상학이 다시 우리 발목을 잡아요. 만약 수학이 그저 의미 없는 기호들의 형식 게임이라면, 이해 가능성이라는 개념은 공허해질 거예요. 그런데 수학적 실천의 현실은 정반대 방향을 강하게 가리켜요. 인간이 만든 증명은 의미가 있고 (거의 항상) 큰 방향이 옳기 때문에, 출간된 연구는 버그투성이지만 이 버그들은 대체로 국소적이고 수정 가능한 채로 머물러요. 의미와 방향의 옳음, 이 두 개념은 형식주의적 세계관과는 도저히 양립할 수 없는 것들이죠.

이건 겉치레 차원의 미묘함이 아니에요. 수학이 지속 가능한 활동으로 존재하기 위한 필수 조건이에요.

리트가 지적한 대로, AI가 First Proof 문제에 내놓은 풀이에는 “진실 추구(truth-seeking)”라는 본질적 특성이 빠져 있었어요.

맞는 풀이 중 다수가 너무 못 쓰여 있어서, 그 때문에 정확성을 검증하기가 극도로 어렵다… [인간 풀이]에서는 핵심 아이디어, 극복해야 할 장애물 같은 것들을 대개 식별할 수 있다. [AI 풀이]에서는 그것들이 종종 완전히 불분명하다. 게다가 풀이를 써내려가는 과정에서 인간 저자들은 자신이 하고 있는 일을 포착할 유용한 새 대상이나 용어를 자주 발전시키는 반면, 모델들은 보통 그냥 밀고 나간다.

여기서 AI-수학 혁명의 두 번째 축이 등장해요. 바로 자동 형식화(autoformalization)예요. 인간이 만든 증명의 다소 비격식적인 스타일, 그리고 그런 증명을 학습한 LLM의 출력물을, 기계가 검증 가능한 철벽 논리 도출로 변환하는 능력이죠. Lean 같은 전용 언어로 표현된 형태로요.

이론적으로는 이게 정확성 문제를 해결해 주고, 인간 검증의 필요성도 없애 줄 수 있어요. 하지만 리트가 지적한 대로, “어떤 문제에 대해서도 신뢰할 만한 형식화 풀이는 단 하나뿐이었고, 그것은 Tom de Groot가 일일이 손으로 조율해 낸, 인상적인 결과물이었다.”

물론 상황은 계속 진화하고 있어요. 판돈은 크고 투자는 어마어마해요. LLM, 스캐폴딩, 자동 형식화 모두 꾸준히 발전하고 있어요.

1년 후에 First Proof 팀이 같은 난이도의 문제 10개를 또 한 번 공개한다면 어떻게 될까요? 리트는 이 구체적인 질문에 답하지는 않지만, AI가 향후 몇 년 안에 “최상위 몇 편의 논문에 견줄 만한 수준”의 결과를 자율적으로 만들어낼 거라고 예상해요.

저도 같은 생각이에요. 제 견해로는, 가장 가능성 높은 결말은 선두 AI 연구소들이 모든 문제에 대해 완전히 자동화된, 완전히 정확한 풀이를 내놓아 10점 만점을 받는 거예요.

그렇다면 이건 AI가 2027년 초쯤이면 “수학을 풀어 버린” 거란 뜻일까요?

당연히 아니에요. 내부자라면 이미 알아챘겠지만, 비전문가 독자는 놓쳤을지 모를 추가 단서가 세 가지 있어요.

단서 #1: 바다(Caveat #1: Oceans)

첫 번째는 단순해요. First Proof의 “연구 수준 문제”들은 심오하지도, 어렵지도 않았어요. 기술적 보조정리에 더 가까웠어요. 정리를 증명해 가는 과정에서 등장하는, 잘 조정된 중간 단계 부분 문제 말이에요. 보통 몇 단락이나 몇 페이지면 처리되는 정도죠. 기술적 보조정리와 진지한 논문 사이에는 바다(ocean) 하나가 있고, 진지한 논문과 돌파구 사이에 또 다른 바다가 있고, 돌파구와 필즈상급 기여 사이에 또 다른 바다가 있고, 그 위로도 바다 몇 개가 더 있어요.

First Proof는 지금 두 번째 묶음을 작업 중이고, 거기엔 더 어려운 문제들이 포함될 가능성이 높아요.

기술적 관점에서 보면 첫 묶음의 난이도 설정은 옳았어요. 사후에야 분명해진 사실이지만요. 최종 점수가 0/10보다 높고 10/10보다 낮은 지점에 떨어졌거든요. 그들의 명시적 목표, 즉 ”[현재] AI 시스템의 능력을 평가할 객관적이고 현실적인 방법론을 찾는다”는 목표에 딱 맞는 스위트 스폿이었어요.

그럼에도 불구하고, 진지한 문제들을 포함하지 않은 벤치마크를 공개한 건 극도로 위험했다고 저는 생각해요. 일반 대중은 깨알 같은 글씨를 읽지 않고, 보조정리가 뭔지조차 모를 수 있어요. 만약 Google이나 OpenAI가 10점 만점을 받았다면, 헤드라인은 이렇게 떴을 거예요. “GAME OVER: 세계 최고의 수학자들이 AI에게 연구 수준 문제 10개를 던졌다. AI는 그것들을 하나도 빠짐없이 박살냈다.”

비슷한 왜곡이 매일같이 소셜 미디어에서 일어나고 있어요. First Proof가 가라앉히려 했던 바로 그 혼란을 오히려 부풀리면서요.

단서 #2: 누적성(Caveat #2: Accretiveness)

두 번째 단서는 훨씬 더 심오해요. 게다가 극도로 미묘하고 일반 대중에게 전달하기도 어려워요. 이 두 가지가 겹쳐서 수학 커뮤니티가 까다로운 상황에 놓이게 됐죠.

이해 불가능한 증명의 문제는 정확성이라는 차원을 훨씬 넘어서요. 자동 형식화만으로는 풀 수 없죠. 설령 정확하더라도, 이해 불가능한 증명은 수학이라는 코퍼스에 누적적(accretive)이지 않거든요.

거칠게 들린다는 거 알아요. 예시로 설명해 볼게요. 몇 주 전, AI-수학 스타트업 중 가장 자금이 풍부한 곳 중 하나인 Math Inc가 마리나 비아조프스카(Maryna Viazovska)의 8차원과 24차원 구 채우기 문제 작업을 Lean으로 형식화해 내놓았어요. 2022년에 그녀에게 필즈상을 안긴 바로 그 눈부신 결과들이죠. 그 자체로 인상적이었어요. 이 정도 무게의 정리들이 자동 형식화된 적은 그전까지 없었거든요. 그런데 이 명백한 성공은 “형식 수학” 커뮤니티로부터 거센 반발에 부딪혔어요. “인간 수학”을 기계 검증 가능한 코드로 옮기는 작업을 이끌어 온 바로 그 사람들이요.

러다이트들?

음, 그건 더 복잡해요. 실제 그들의 대화를 보면 알 수 있듯이, 자동 형식화는 수학을 형식화하는 문제의 완전한 해결책이 아니에요. 마치 테슬라의 풀 셀프 드라이빙이 운전 문제의 완전한 해결책이 아닌 것과 같죠.

네, 직관에 어긋나게 들린다는 거 알아요. 그래서 외부인들은 이 미묘함을 놓치고 그 반발을 러다이즘으로 치부하기 십상이에요.

이걸 잘 풀어준 설명이 알렉스 콘토로비치(Alex Kontorovich)가 형식 수학을 익혀 가며 거친 자기 학습 곡선에 대해 쓴 글에 있어요. 요점은 이거예요. Mathlib은 Lean의 지배적인 라이브러리로, 인간 수학 중 점점 더 큰 비율을 사람의 손으로 큐레이션해 형식화한 결과물이에요. 깔끔한 API와 추상화를 드러내 놓고 있고, 그게 없으면 자동 형식화 자체가 일어날 수 없어요. 반면 Math Inc가 비아조프스카의 결과를 자동 형식화한 증명은 이해 가능한 어떤 인터페이스도 드러내지 않아요. 누가 제정신으로 감사도 받지 않은 20만 줄짜리 바이브 코딩 덩어리를 글로벌 인간 과학의 마스터 브랜치에 머지하겠어요?

콘토로비치는 빠진 것을 가리키는 멋진 표현을 갖고 있어요. 바로 정전화(canonization)예요.

정전화란, 국지적이고 일회성인 형식화를 라이브러리 수학으로 바꾸는 과정을 말한다. 일반적이고, 재사용 가능하며, 일관되고, 효율적이며, 나머지와 호환되는 형태로. 정전화는 종종 그림 자체를 바꾼다. 정의, 추상화, API, 때로는 명제까지도… 이건 극도로 어렵고 시간이 많이 든다.

그런데 이것 또한 러다이즘으로 오해받기 쉬워요. ”일반적”, ”재사용 가능”, ”일관성”, ”효율적”… 이런 건 컨텍스트 윈도우 좁은 멍청한 인간들이 만들어낸 반동적 논변일 뿐 아닌가? AGI가 그걸 왜 신경 써야 해? 자동 형식화야말로 설계상 바이브 코딩의 모든 문제를 결정적으로 해결해 주는 거 아니야?

증명된 코드야말로 소프트웨어의 상상 가능한 최고 기준 아닌가? 왜 자꾸 골대를 옮기는 거지?

이 핵심 쟁점을 이해하는 데에 소프트웨어 비유가 도움이 돼요. 보통의 소프트웨어에서 품질은 무엇보다 실용적인 개념이에요. 좋은 코드는 컴파일되고, 프로덕션에서 매끄럽게 돌아가고, 사용자의 필요를 만족시켜야 해요. 그런데 Lean 코드는 어디에서도 실행되지 않아요. 그저 리포지토리에 가만히 놓여 있는 라이브러리일 뿐이에요. 언젠가 다른 정리를 형식화하다가 임포트될지도 모르고요. 그게 언제일지는 아무도 모르죠.

여기서는 유일한 사용자가 “수학의 미래”이기 때문에, ”일단 출시하고 사용자에게 QA를 맡겨” 전략이 통하지 않아요. 그래서 정전화는 유클리드(Euclid)에서 체르멜로-프렝켈(Zermelo–Fraenkel)을 거쳐 부르바키(Bourbaki)T4에 이르기까지 줄곧 형식주의 학파의 핵심 관심사였어요.6

다시 형이상학으로 돌아왔네요. 이해 불가능한 수학의 문제는 그게 거짓일 수 있다는 게 아니에요. 말 그대로 의미가 없다는 거예요. 현재 그것을 이해하고 그 가치를 음미할 수 있는 유일한 하드웨어, 즉 인간 두뇌 위에서 컴파일되지 않는다는 의미에서요.

물론 이건 그리 머지않은 미래에 바뀔 수 있어요. 인간 두뇌에 마법 같은 건 없거든요. 인공적인 의미 형성 및 진실 추구 아키텍처가 분명히 등장할 거고, 어느 시점에는 형식 증명의 정전화를 포함한 수학적 창의성의 모든 측면에서 인간을 능가하게 될 거예요(알고리즘 복잡도의 관점에서, 정전화는 인간이든 초인간이든 모든 형태의 수학에 필수 요건이에요).

그러나 이건 절대 지금 우리의 상황이 아니고, 현재 추세의 단순한 연장도 아니에요. 생산적인 토론의 조건이 갖춰져 있다고 보지 않아요. 어떤 경우든, 인간이 여전히 남아 있는 한 세상을 이해하려는 욕구는 계속될 거고, 그 욕구가 우리를 끊임없이 수학으로 끌어들일 거예요.

AGI까지의 타임라인은 아무도 몰라요. 한편 프런티어 모델의 자동 정전화 능력은 거의 0을 살짝 넘는 수준에 머물러 있고, Math Inc가 자동 형식화한 비아조프스카 증명은 고아가 된 20만 줄짜리 덩어리로 그저 자리만 차지하고 있어요.

이게 Mathlib 커뮤니티를 그토록 분노하게 만든 이유예요. 그들은 비아조프스카의 작업을 형식화하는 다년 프로젝트를 진행해 오고 있었거든요. Math Inc는 이 집단적 노력에 끼어들어 앞서 쌓인 통찰을 활용해 놓고는, 갑자기 입을 닫았어요. 그러다가 화려한 발표를 터뜨린 거고요.

이게 꼭 나쁜 소식일까요? 무차별 자동 형식화가 끝났으니, 이제 Mathlib 커뮤니티가 가치 창출 정전화 작업에 다시 집중하면 되는 거 아닌가요?

하디(Hardy)의 저주와 수학자들의 명예 규약(honor code) 때문에 그게 안 돼요. Math Inc가 트로피(“필즈상급 정리의 첫 형식화”)를 가져갔고, 그 뒤를 청소한다고 해서 돌아오는 사회적 보상은 남아 있지 않아요. 그래서 형식 수학의 비-러다이트 전문가인 패트릭 마소(Patrick Massot)의 이런 코멘트가 나왔죠.

상황은 꽤 분명해 보인다. AI 회사들, 특히 Math Inc는 이 영역을 철저하게 폭격해 다시는 생명이 살 수 없는 거대한 방사성 황무지로 만들 것이고, 그 결과 우리는 형식화에서 기대했던 이점(이해도와 접근성의 향상)을 결코 얻지 못하게 될 것이다. 나는 젊은이들에게 덜 화려해도 파괴될 가능성이 적은 프로젝트에 기여하라고 강력히 권한다.

상황을 진짜 까다롭게 만드는 건, 이해 불가능한 형식 증명이 정전화된 코퍼스에 누적되지 않더라도 상당한 잔여 가치를 가질 수 있다는 점이에요.

그리고 솔직히 말해서, 이 문제는 AI 이전부터 존재했어요. 4색 정리에서도, 유한 단순군의 분류에서도, 그리고 케플러 추측T5에 대한 톰 헤일스(Tom Hales)의 기념비적 작업에서도 마찬가지였죠(헤일스는 이 작업 때문에 형식화 증명을 추구하게 됐고요).

가능성 높은 결말은 형식 수학이 이제부터 두 개의 분리된 층으로 발전하리라는 것이에요. 한쪽은 Mathlib이 구현하는 이해 가능한 층. 다른 한쪽은 Mathslop이라 부를 만한 이해 불가능한 층이에요. 옳다고 알려진 결과들의 라이브러리이긴 한데, 그 증명을 이해해 본 인간이 아무도 없는 거죠.

단서 #3: 오버행(Caveat #3: The Overhang)

First Proof 문제들이 공개되었을 때, 제 가장 큰 두려움은 거대 AI 연구소들이 그것들을 모두 한 방에 풀어낼 수 있다는 것이었어요. 잘못된 이유로요. 답이 어떤 형태로든 어딘가에 이미 존재할 수도 있거든요.

리트는 이렇게 지적해요. 10개 문제 중 2개에는 기존 문헌 안에 풀이7가 있었고(놀랄 것도 없이 대부분의 LLM이 그것을 활용했죠), 또 다른 1개 문제에는 “증명 스케치”가 있었다는 거예요(그래도 어느 LLM도 풀지는 못했지만요).

그런데 나머지 7개 문제는요? 진짜 미해결이었던 걸까요? 어떤 의미에서요?

제 견해로는 확실하게 말하기가 불가능해요. 수학 코퍼스의 어떤 구조적 특징 때문인데, 이게 AI-수학 논쟁에서 핵심 역할을 하게 될 게 분명해요. 사실 저는 우리에게 익숙한 “창의성”과 “혁신” 개념이 잘못된 토대 위에 있다고 의심해요. 그리고 AI가 이 개념들에 대해 우리에게 가차 없는 교훈을 안길 거라고 봐요.

대부분의 수학자들은 직관적으로 이 구조적 특징을 알아채고 있지만, 그 정확한 모양과 크기를 도식화할 길은 없어요. 저는 이걸 진지하게 이론화하려는 시도를 본 적이 없고, 합의된 이름도 없어요. 그러니 제가 이걸 오버행(Overhang)이라고 부를게요.

저는 이 오버행이 절대적으로 거대할 거라고 봐요.

제 커리어 동안 이걸 여러 번 마주쳤어요. 대부분은 꽤 가벼운 만남이었지만, 단 한 번은 정신이 아찔해지는 경험이었어요. 제 가장 좋은 작업을 하던 시기, 정의 9.3의 핵심 아이디어를 막 떠올렸을 때였죠. 그건 완전히 새로운 개념이었어요. 제가 막 짜낸 새 아이디어들 위에 세워졌고, 어떤 고전적 추측을 푸는 열쇠를 쥐고 있었거든요. 주관적으로는 천재적인 한 수처럼 느껴졌죠.

제 가장 창의적인 아이디어를 “정전화”하던 중, 충격적인 발견을 했어요. 제 자랑스러운 발명품인 나누어진 가르사이드 범주(divided Garside categories)가, 전혀 다른 수학 분야에서 겉보기엔 난해해 보이는 어떤 구성과 본질적으로 동치였던 거예요. 바로 대수적 K-이론(algebraic K-theory)에 등장하는 코네스(Connes)의 순환 범주에 대한 뵈크슈테트–샹–마센 세분(Bökstedt–Hsiang–Madsen subdivision)이었죠.

다시 말해, 제 단 하나의 천재적 아이디어는 데자뷔였던 셈이에요. 정말 그랬을까요? 20년이 지난 지금도 저는 그 순간을 제 커리어의 최고점으로 봐요. 제 아이디어가 “독창적”이었는지 아니었는지는 그다지 신경 쓰지 않아요. 그게 가장 핵심적인 개념이라고 생각하지 않거든요. 저를 강타한 건 의미가 갑자기 번뜩이던 그 순간이었고, 그건 이 세상의 감각이 아니었어요. (장기적 가치를 알리는 명료한 인지 신호죠.)

어쨌든, 좋은 LLM이라면 제 작업이 어디로 향하는지 저조차 분명히 알지 못하던 초기 단계에, 그 통사적 유사성을 이미 포착했을 수도 있어요. 그러고는 “선매수(front running)” 식으로 저를 앞질렀을지도 모르고요.

겉보기에 무관한 주제 사이에 깊은 대응 관계가 존재한다는 것은 수학에서 가장 칭송받는 측면 중 하나예요. 기쁨과 경이의 원천이죠. 어쩌면 수학적 아름다움의 가장 순수한 표현일지도 몰라요. 데카르트(Descartes)가 세상을 바꿀 수 있었던 건, 대수와 기하가 본질적으로 같다는 사실을 알아채고 그 사이에 다리를 놓았기 때문이에요. 데카르트 좌표를 “발명”하고 나면, 많은 옛 문제가 자명해지고, 흥미로운 새 문제들이 즉시 떠올라요.

그런데 현대 수학은 너무나 환상적으로 복잡해서, 대부분의 대응 관계는 눈에 띄지 않은 채 지나가요.

때로는 점들을 잇는 일이 발견이 아니라 미스터리부터 낳기도 해요. 인상적인 예가 존 매케이(John McKay)의 그 유명한 관찰, 196,883 + 1 = 196,884예요. 196,883이라는 수는 몬스터(Monster) 군 연구에서 등장했고, 196,884는 모듈러 형식(modular forms) 연구에서 등장했어요. 두 분야는 서로 완전히 이질적이었거든요. 둘이 연관되어야 한다는 추측이 너무 황당하게 들렸던 나머지, 이 가설에는 문샤인 이론(Moonshine theory), 또는 몬스트러스 문샤인(Monstrous Moonshine)이라는 이름이 붙었어요. 리처드 보처즈(Richard Borcherds)는 1998년 이 추측이 옳음을 증명한 공로로 필즈상을 받았어요.

그런가 하면, 점들을 이어 붙이는 것만으로 큰 문제가 풀리는 경우도 있어요. 추측을 증명하는 마지막 한 걸음은, 빠진 조각이 사실 이미 문헌 어딘가에 있었다는 사실을 깨닫는 일인 경우가 많거든요.

오버행은 과거 수학적 창의성의 미실현 자본 이득이에요. 기존 코퍼스의 점들을 이어 붙이는 데서 나오는 잠재 가치죠. 정전화의 배당이라고 할 수 있어요. 수학자 X가 문제 A를 제기하고, 수학자 Y가 개념 B를 빚어내고, 그러면 수학자 Z가 B로 A가 자명하게 풀린다는 사실을 알아채고는 사회적 보상을 “포획”해요. 그런데 그 보상을 포획하는 과정에서 Z는 보통 새로운 개념과 새로운 미해결 문제를 도입해요. 잠재 가치를 다시 오버행으로 주입하는 거죠.

LLM은 수학 코퍼스 전체로 훈련될 수 있어요. 경이로운 암기력과 패턴 매칭 능력 덕분에(그 연상의 논리를 항상 짚어내거나 출처를 제대로 밝히지는 못하더라도), LLM은 오버행을 수확하기에 더없이 좋은 위치에 있어요. 반면 전문 수학자는 보통 커리어 동안 수백 편의 논문을 읽어요. 수백만 개 존재하는 참조 중 0.1% 미만이죠.

이건 위대한 발견들로 이어질 거고, 그건 명백히 흥미진진한 일이에요. 그러나 동시에 슬픈 새 구도로 이어질 수도 있어요. 인간 노예들이 오버행을 고통스럽게 큐레이션하는 동안, AI들이 결승선에서 그들을 체계적으로 제치는 그런 구도요.

그런데 우리는 거기서 한참 멀리 있고, 바로 그 사실 자체가 혼란스러워요. 리트는 이렇게 날카롭게 덧붙여요.

미스터리는 이거다. 만약 인간이 그 정도의 능력을 가졌다면, 거의 확실히 놀라운 정리들을 끊임없이 증명하고 있을 것이다. 왜 우리는 모델들에게서 아직 그런 모습을 보지 못했는가? 그들에게 빠진 게 무엇인가?

답은 꽤 명백해 보여요. 현재 AI 시스템과 인간은 수학을 완전히 다른 방식으로 처리해요. 가장 좋은 모델들이 어떤 측면에서 미친 듯이 강하다면, 다른 측면에서는 인간이 여전히 미친 듯이 강할 수밖에 없죠.

AI는 어떻게 보느냐에 따라 동시에 초인간이고 또 인간 이하예요.

이건 AI에게도, 인간에게도 칭찬이에요. 이렇게 다양한 측면이 공존한다는 사실은 “벤치마킹” 작업 전체를 극도로 취약하게, 어쩌면 우스꽝스러울 정도로 취약하게 만들어요. AI가 개념 구축에서 제대로 된 수준에 이르기 한참 전에, 문제 해결에서만 패권을 차지할 가능성이 실제로 있어요. 우리는 그걸 뭐라고 부를 거예요? “초지능”? 진심으로요?

이게 First Proof 접근에 대해 제가 갖는 핵심 문제예요. 일하는 수학자, 그러니까 낡은 명예 규약의 제약 안에서 지금 AI가 자신을 위해 무엇을 해 줄 수 있는지를 묻는 수학자에게는 의미 있는 벤치마크이긴 해요. 하지만 바로 지금이 그 명예 규약에서 절박하게 벗어나야 할 때거든요.

왜 우리는 인간에게 더 공정한 벤치마크를 만들지 않을까요? 만들 수 없기 때문이에요. 수학의 진짜 가치, 즉 우리 세계관의 집단적·개인적 고양은 정의하기도 어렵고 손에 잡히지도 않아요. 그리고 바로 그 손에 잡히지 않는다는 점이야말로 명예 규약이 존재했던 이유(raison d’être)였어요.

수천 년 동안 우리는 인간 지능을 문제 해결 측면에서만 벤치마크하기로 합의해 왔어요. 그게 가장 좋은 객관적 대리 지표라고 생각했거든요. 정리 증명은 우리 인지에 너무나 어려운 일이라, 진보의 유일한 길은 끈기 있게 개념을 쌓아 올리고 그 새 개념들을 신경 가소적으로 내재화하는 것뿐이었으니까요.

그렇지만 그건 어디까지나 대리 지표였어요. 우리가 정말 신경 쓰는 것은 종류 자체가 달라요. 산업용 로봇이 인간보다 훨씬 힘이 세지만, 우리는 여전히 헬스장에 가요. 블렌더가 한 세기 넘게 우리보다 더 잘 씹어 왔지만, 우리는 여전히 빨대로만 식사하지는 않잖아요.

모양새가 안 좋다는 거 알아요. 수학이 무엇보다도 이해(comprehension)에 관한 것이고 그 측면은 벤치마크할 수 없다고 선언하는 건, 너무 편의주의적인 변명처럼 들리거든요. 그런데 이건 제가 마지막 순간에 즉흥적으로 지어낸 얘기가 아니에요. 서스턴이 2011년에 쓴 글이 있어요.

수학은 흔히 보편 진리, 즉 어떤 단일한 고정된 문맥에도 매여 있지 않은 패턴들을 추구하는 일이라고 여겨진다. 그러나 더 깊은 차원에서 수학의 목표는, 인간이 세상을 보고 사고하는 방식을 더 풍부하게 만들어 주는 것이다. 수학은 변형의 여정이며, 그 진보는 우리가 발견한 외적 진리보다도 우리의 사고방식이 어떻게 변하는가에 의해 더 잘 측정될 수 있다.

저는 5년 전, AI 폭풍이 시작되기 전에 쓴 제 책에서 이 구절을 인용했어요. 그리고 1628년에 데카르트가 고대 그리스 수학자들을 향해 쓴 격분의 글도 인용했죠. 그들이 ”일종의 음흉한 교활함으로” ”진짜 수학”을 ”억압했고”, ”유치하고 무의미한” 것들만 발표했다는 거예요(데카르트는 이 “진짜 수학”을 내면의 인지 방법론과 동일시했어요). “그들의 방법이 낳은 열매들, 즉 영리한 논변으로 증명된 몇 가지 메마른 진리들을 우리에게 던져 주었을 뿐, 정작 그 방법 자체를 가르쳐 주지는 않았다”고요.8

테리 타오(Terry Tao)도 최근 드워케시 파텔(Dwarkesh Patel)과의 인터뷰에서 비슷한 말을 했어요.

수학에서는 종종 그 과정이 문제 자체보다 더 중요합니다. 문제는 진보를 측정하기 위한 일종의 대리 지표일 뿐이에요.

그리고 그는 다음과 같은 주목할 만한 예측도 내놓았어요.

10년 안에, 현재 수학자들이 하는 많은 일들, 즉 우리가 시간의 대부분을 들여 하는 일들과 오늘날 우리 논문에 담는 많은 것들이 AI에 의해 처리될 거라고 생각합니다. 그런데 우리는 그것들이 사실 우리가 하는 일의 가장 중요한 부분이 아니었다는 점을 발견하게 될 겁니다.

소셜 미디어의 반응은 압도적으로 호의적이었어요. 타오의 공개 발언이 보통 그렇듯이요. 그런데 평소답지 않은 이견이 일부 보였어요. 특히 “문제 해결 자체는 그렇게 가치 있는 게 아니다”라는 발상에 대해서요.

AGI 예언자들에게 이 발언은 명백히 다가오는 미래를 외면하려는 발버둥처럼 비쳤어요. 실제로 비웃음도 일부 따라붙었고요.

• • •

이건 훈련이 아니에요(This is not a drill)

3월 3일, 제레미 아비가드(Jeremy Avigad)가 AI 시대의 수학자(Mathematicians in the Age of AI)라는 다섯 페이지짜리 에세이를 올렸어요. 그는 신설된 수학을 위한 컴퓨터 보조 추론 연구소(Institute for Computer-Aided Reasoning in Mathematics)의 초대 소장이에요.

이 글은 Math Inc 대 Mathlib 사건을 상세히 기술하고 있는데, 아비가드는 이 사건의 핵심 목격자 중 한 명이었어요. 그 또한 급진적 비러다이트(non-Luddite)로, 빠르게 변화하는 상황을 관찰하기에 더없이 좋은 위치에 있어요.

우리는 AI가 머지않아 우리보다 더 잘 정리를 증명하게 되리라는 사실을 직시해야 해요…

우리의 강점을 잊지 말아야 해요. 수학자들은 탁월한 문제 해결자이자 이론 구축자예요. 수학에서 AI 사용을 거부하기보다, 우리가 그것을 주도해야 해요. 시류를 따라가고 AI 연구자들을 위한 벤치마크를 설계하는 것만으론 충분하지 않아요. 우리는 이 기술을 적극적으로 배치하고 우리의 목적에 맞게 빚어내는 데 능동적인 역할을 해야 해요.

First Proof 이니셔티브에 관해, 아비가드는 구글이 “열 문제 중 여섯 문제”를 풀 수 있었던 것에 “놀랐다”고 인정했어요.

앞서 썼듯, 저라면 다르게 표현했을 거예요. 저는 “놀랐다”기보다는 “안도했다”고 느꼈거든요. 다만 저도 “놀란” 면이 있긴 했어요. 문제들이 실제로 얼마나 어려운지 직관이 없었고, 몇 개나 풀릴지 분명한 예상도 없었다는 의미에서요.

제가 정작 당혹스러웠던 건, First Proof가 불러일으킨 관심을 두고 아비가드가 흐뭇하게 남긴 코멘트였어요.

몇몇 AI 개발자들이 미끼를 물었다.

이게 풍자인지 순진함인지 잘 모르겠어요. 테크 생태계에 익숙한 사람이라면 First Proof 문제 세트가 모든 선도 AI 연구소에서 5단계 비상경보를 울릴 거라는 게 꽤 분명했거든요. 누가 이런 기회를 놓칠 수 있겠어요?

OpenAI 사장인 그렉 브록만(Greg Brockman)은 이렇게 코멘트했어요.

원문 보기

”First Proof”(firstproof.org)는 정말 멋진 콘셉트이자 접근이에요. 이걸 만들어낸 팀에게 축하와 감사를 보냅니다!

타이밍이 놀라워요. 브록만의 코멘트가 올라온 건 2월 14일, OpenAI가 사상 최대 규모의 민간 테크 펀드레이징을 성사시키려고 로드쇼를 돌고 있던 시점이었어요. 더 놀라운 건, 이 극도로 긴장된 몇 주 동안 너드 사이드 프로젝트에 “한눈을 판” OpenAI 리더가 브록만뿐이 아니었다는 점이에요. 며칠 전엔 샘 올트먼(Sam Altman)이 직접 코딩할 짬을 냈고, Codex 때문에 자신이 “쓸모없어졌다”며 슬픔을 표현했어요.

원문 보기

그런데 이게 정말로 한눈팔기였을까요? 거대한 물고기가 미끼를 무는 장면으로 볼 수도 있고, 여우가 닭들에게 “닭장 열쇠를 건네줘서 고맙다”고 인사하는 장면으로 볼 수도 있어요.

분명히 해두자면, 저는 OpenAI든 다른 어떤 AI 연구소든 사악한 짓을 했다고 보지 않아요. First Proof 팀이 그들에게 다른 선택지를 남기지 않았던 거예요. 문제들이 공개된 순간, 그들은 경쟁할 수밖에 없었고, 뒤처지는 걸 감당할 수 없으니 전력투구할 수밖에 없었어요.

사실 이 모든 게 정상이에요. AI 연구소들은 진짜로 흥미진진한 기술을 가지고 있고, 정리 증명은 진짜로 흥미로운 활용 사례거든요.

유일한 문제는, 우리 모두가 이 사건에서 어떤 의미를 읽어내려는 유혹에 빠져 있다는 거예요.

그래서 힌턴(Hinton)의 연설이 그토록 마음에 걸렸던 거예요. 수학이 “규칙이 있는 닫힌 시스템”이고 “바둑이나 체스와 같다”는 이유로, 그는 수학을 손쉽게 딸 수 있는 열매, AI에게 “특히 쉬운” 영역으로 묘사했어요. 그런데 바둑과 체스는 평범한 닫힌 시스템이 아니에요. 승자와 패자가 있는 실제 게임이거든요. 더 나아가, 그것들은 완전 정보를 가진 유한 2인 게임이고, 1913년 체르멜로(Zermelo)의 정리에 따라 최적 전략이 존재해요.9

그런데 만약 AI가 수학에서 “이긴다”면, 누군가는 “지는” 쪽이어야 해요. 그리고 이 방 안에 남은 유일한 플레이어는 인간의 사고예요.

수학이 적대적 게임이 아니라는 게 무슨 상관이겠어요. 우린 아직 규칙도 정하지 못했는데요. 뉴스가 이 정도로 자극적이면, 1면을 장식할 자격은 충분한 거예요.

핵폭탄급 시나리오는 이런 모습이에요. 1년 뒤, 어떤 AI 연구소가 비밀 A팀을 꾸려, 수십억 달러어치의 컴퓨팅 자원을 리만 가설(Riemann hypothesis)에 쏟아붓고, 200만 줄짜리 Lean 증명을 내놓는다고 해 봐요. 수학자들은 뭐라고 할까요?

그 증명을 이해할 수 없다고요? 맞아요, 그런데 누가 신경이나 쓰겠어요? 수학 전체가 이미 대부분의 사람에게 이해 불가능하지 않나요?

그 정리는 그래도 과정에 참여한 인간들이 증명한 것이라고요? 예, 그렇긴 하지만 아니기도 해요. 제가 그 구체적인 경우라면 아마 “아니다”에 표를 던질 거예요.

수십억 달러는 미국 국립과학재단(NSF)의 수리과학 전체 예산의 수십 년치라고요? 맞아요, 그래서요? 만약 그 추측이 훨씬 쉬운 거여서, 얼마 안 되는 자원만으로도 닿을 수 있는 거라면요?

그 추측 자체는 여전히 인간의 뇌가 만들어낸 것이고, 그 아래에 깔린 수학 체계 전체도 마찬가지라고요? 추측이 쓰인 바로 그 언어, 무한급수와 복소수와 유리형 함수와 해석적 연속의 개념, 그것을 소수 분포에 관한 심오한 진술로 해석한 것, 그리고 이 추측이 참이어야 한다는 예언까지 전부 다요? 그리고 이 시점에 그것에 마음을 쓰는 유일한 존재는 인간이라고요?

이 반론은 심오하고 타당해요. 그런데 패배에 분개하는 모습으로 보이는 순간, 무슨 말을 해도 아무도 안 들어요.

저는 정확히 이런 시나리오가 펼쳐지리라고 기대하진 않아요. 하지만 가까운 미래에 AI가 “수학을 풀었다”거나 “수학적 우월성을 달성했다”는 주장이 한 번 이상 나오리라고는 예상해요. 그리고 지금 논의의 상태로 보아, 그 주장을 뒷받침하는 실제 증거가 인간 지성의 패배로 프레이밍되거나 그렇게 이해될 거라고 봐요.

제프 힌턴이 못 알아본다면, 인구의 99.9999%도 못 알아볼 거예요.

수학자들이 재앙이 닥쳤을 때 다급히 외칠 말들을, 지금부터 미리 외쳐 둬야 해요. 최악을 완전히 피하기엔 이미 늦었을 거예요. 하지만 적어도 미리 대비하고 입을 맞출 시간 정도는 남아 있어요.

가장 분명한 위급 신호는 젊은 수학자들 사이에서 점점 커지는 반발이에요. 그들 중 다수가 AI 연구소에 합류하고 있어요. 솔직히 밝히자면, 저는 그들의 선택을 이해하고, 제가 그들의 입장이었다면 똑같이 했을 거예요.

한편 비종신 트랙의 학자들 사이에선 절망의 징후가 보여요. 하버드 박사후 연구원 아쉬빈 스와미나탄(Ashvin Swaminathan)은 리트의 에세이에 동의한다면서, 그것이 “가장 엘리트한 기관 바깥에서 연구 수학이 직업으로서 얼마나 오래 갈지에 대해 많은 의문을 남겼다”고 말했어요.

스와미나탄의 스레드는 수학의 본질적인 한 측면, 곧 가르침을 다루는 훌륭한 글이에요.

혹자는 연구 수학자들이 가르침을 통해 자기 연구를 뒷받침할 수 있지 않냐고 물을지도 몰라요. 하지만 그건 AI가 가르침에 미치는 극적인 영향을 무시한 거예요. 학생 다수가 AI를 시켜 자기 일을 하게 하니, 대학 학위는 곧 무가치해질지도 몰라요. 제가 받는 튜터링 요청 수와 오피스 아워에 오는 학생 수가 극적으로 줄어든 데는 이유가 있어요. 학생들이 과제는 엄청 잘하면서 시험은 훨씬 못 보는 데도 이유가 있고요. 많은 아이들이 진짜 능력 없이 졸업하고 있어요.

강조하자면 이건 연구에서의 이슈와 정확히 같아요. 문제 해결은 그저 수단일 뿐이에요. 순수 수학의 핵심 보상은 우리 세계관이 신경가소적으로 한 단계 올라서는 데 있는데, 결과를 복붙해선 거기에 도달할 수 없어요.

수학이 증명하는 것(또는 옳은 결과를 찾는 것)일 뿐이라는 잘못된 통념은 모든 층위에서 유독해요. 초등학교에서부터 시작해서요.

특히, 자주 들리는 “AI는 이미 박사 수준의 연구를 수행할 수 있다”는 주장은, 설령 그게 맞다고 해도 보이는 만큼 설득력이 있진 않아요. 박사 과정생은 학생이거든요. 합리적인 지도교수라면 접근 가능한 전략이 있는 문제로 그들을 안내해요. 사실 출판된 연구 대부분은 오버행 안에 편안히 자리잡고 있고, 거기서 두 가지 역할을 동시에 해요. 일부는 진짜 의미의 연구이고, 일부는 연구 공동체의 인지적 유지보수예요. 이건 제 옛 동료들을 폄하하는 게 아니라, 프런티어 수학의 진정한 어려움을 증언하는 거예요. 프런티어 수학은 이해 가능성을 향한 집단적 노력이 있을 때만, 그 창끝으로서 존재하니까요.

만약 정리 증명이 그들의 유일한 공식 화폐로 남는다면, 모든 연구 수학자들은 앞으로 몇 년 안에 통화 가치를 잃을 위험에 처해 있어요.

• • •

고백(Coming clean)

수학 공동체가 할 수 있는 일이 있을까요?

기적 같은 해법은 안 보여요. 하지만 피해를 줄이기 위한 분명한 접근들은 있어요. 그 첫째는 마침내 수학의 본질에 대해 솔직히 털어놓는 거예요.

제가 인용한 모든 현역 수학자들, 타오부터 아비가드까지, 리트부터 콘토로비치까지, 모두가 수학에는 정리 증명을 넘어서는 무언가가 있다고 조심스레 짚어요. 그런데 이건 보통 지나가는 한마디로 다뤄지지, 서사의 큰 전환으로 다뤄지진 않아요.

하지만 이건 서사의 큰 전환이고, 제대로 설명되지 않으면 대중은 절대로 이걸 진지하게 받아들이지 않을 거예요. 지금은 그저 변명처럼 보이거든요.

수천 년 된 브랜드를 재포지셔닝하려면, 무엇을 하고 있는지, 왜 하고 있는지, 그리고 이것이 모두에게 어떤 추가 가치를 가져다줄지를 분명히 밝혀야 해요. 이건 필연적으로 큰 일이고, 필연적으로 어려운 일이며, 제대로 해낼 수 있는 기회의 창은 극도로 좁아요.

이건 어쩌면 역사상 가장 큰 규모의 제품 리콜일지도 몰라요. 우리는 수십억 명의 사람들에게 가짜 수학 개념을 팔았고, 이제 청구서가 날아오고 있어요.

유일한 방법은 핵심 메시지를 앞세워 그것을 거듭거듭 두드리는 거예요. 제 몫을 하는 차원에서 또 하나의 서스턴 인용을 들려드릴게요(아비가드도 자신의 최근 에세이 수학적 이해(Mathematical Understanding)의 제사로 골랐던 인용이에요).

우리는 정의, 정리, 증명의 어떤 추상적 생산 할당량을 채우려는 게 아니에요. 우리의 성공을 측정하는 척도는, 우리가 하는 일이 사람들로 하여금 수학을 더 명료하고 효과적으로 이해하고 사고하게 만드는가예요.

장기적으로 이건 직업의 에토스와 평가 기준에 대한 완전한 재고를 강제할 수 있어요. 수학자들은 명예 규약(honor code)과 직관 클럽의 두 번째 법칙, 즉 “진짜로 직관에 대해 말하고 싶다면, 가볍고 부수적인 톤으로 말해라. 우리는 심리학과가 아니니까”라는 법칙을 폐기해야 할 거예요. 만약 서스턴이 옳다면, 우리는 사실 심리학과예요.

이 모든 게 말은 쉽지만 행하긴 어려워요. 수학 공동체는 비상 워크숍을 소집해서 위기 대응책을 마련할 수 있는 구조화된 조직이 아니거든요.

심지어 수학에 대한 통일된 견해조차 공유하지 않아요. 어떤 이들은 핵심이 진심으로 “이전에 풀리지 않았던 문제를 푸는 것”이라고 생각하고, 또 어떤 이들은 직관에 대한 어떤 진지한 논의에도 반대해요. 저는 이 두 견해 모두에 동의하지 않아요. 하지만 제 의견도 그저 의견에 불과해요.

분명한 정의와 사명 선언이 부재한 탓에, 공동체는 계속 수세에 몰려요.

xAI와 Math Inc의 공동창업자였던 연구자 크리스티안 세게디(Christian Szegedy)는 2026년 6월까지 “초인간적 수학자 AI”가 등장할 거라는 예측을 내놓았어요. 이런 식의 선언은 둘 중 하나예요. 공허하거나(전기기계식 계산기는 한 세기째 초인간적이었거든요), 가장 나쁜 의미에서 극단주의적이거나. 놀랄 일도 아니지만, 세게디는 테리 타오가 “빠르게 다가오고 있는 현실에서 동떨어져 있다”고도 썼어요.

문제는 예측 그 자체가 아니에요(세게디는 진짜 기술적 정당성을 갖고 있고, 아무리 거창한 의견이라도 그걸 가질 권리가 있어요). 문제는, 어떤 응답이든 좀처럼 들리지 않게 만드는 전반적 분위기예요.

제가 자꾸 떠올리는 단순한 아이디어가 하나 있어요. 자율주행차의 자율주행 단계처럼, 수학 지능 척도(Mathematical Intelligence Scale)나 수학 자동화 척도(Mathematical Automation Scale) 같은 게 필요하다는 거예요.

그게 있으면, 본질상 이해 가능성과 개념 구축을 반영하지 못하는 객관적 벤치마크의 절박한 위험에 대처할 수 있어요. AI가 다음번 First Proof를 쓸어버릴 때, 보도자료는 이렇게 읽혀야 해요. “AI가 First Proof를 풀었고 수학 지능 척도에서 (10단계 중) 3단계를 달성했다.”

수학자들은 주관성을 두려워해선 안 돼요. 이건 부정행위 문제가 아니에요. 공정해지는 것, 그리고 집단적으로 할복(seppuku)을 저지르지 않는 것에 관한 거예요. 사실 어떤 문제 출제 행위든 이미 주관적이에요. First Proof 문제든, 에르되시 문제든, 밀레니엄 상 문제든, (이론상) 풀렸는지 객관적으로 판정할 수 있다는 점 외에는 객관적인 게 아무것도 없어요.

이 객관적으로 검증 가능하다는 성질은, 수학적 창의성의 더 심오한 측면들에는 빠져 있어요. 문제 출제 자체, 정전화(canonization)와 개념 구축, 재구성, 단순화, 추측 만들기, 나아가 거대 이론 구축과 완전히 새로운 수학 분야의 창출까지 전부요. 그렇다고 해서 이 활동들이 존재하지 않거나 수학의 중심이 아니라는 뜻은 아니에요.

심지어 수학적 주관성에는 객관적 차원도 있어요. 데카르트(Descartes)가 대수학과 기하학을 연결했을 때, 뉴턴과 라이프니츠가 미적분을 발명했을 때, 동시대인들에게 무언가 거대한 일이 일어났음이 꽤 분명했어요. 어떤 의미에서 AI 스타트업들을 포함한 우리의 기술구조 전체가 그 발명들의 배당금으로 살아가고 있어요.

이상적인 척도라면 끝이 열려 있거나, 적어도 외견상 닿을 수 없어 보이는 상위 단계가 있어야 해요. 수학은 “풀어버릴” 수 있는 게 아니거든요.

수학은 무한히 풍부하고 무한히 어려운 것으로 알려져 있어요. 이는 무한한 진보의 여지가 있다는 뜻이에요. 단 하나의 시급한 일은, 수학이 누군가가 가져갈 수 있는 트로피가 아니라는 사실을 모두에게 분명히 하는 거예요.

• • •

수학의 미래(The future of mathematics)

안타깝게도 피해의 상당 부분은 이미 정해진 수순이에요. 완벽하게 실행된다 해도, 외부 일정의 압박 아래에서 인식론적 혁명을 수행하는 건 불가능해요. 이번 혁명은 핵심 과학에 극도로 불리한 더 넓은 맥락 안에서 일어나야 하는데, 그 맥락에선 모든 뉘앙스가 게이트키핑으로 즉각 일축돼요.

수학자들에겐 어려운 시간이 될 거예요. 학생들은 떠날 거예요. 돈줄은 마를 거예요. 박사후 연구원들은 다급한 질문을 던질 거고, 시니어 교수진은 그에 답해야 할 거예요. 파티에선 사람들이 그들에게 이상한 눈빛을 보내기 시작할 거예요. 마치 살아 있는 화석이라도 된 듯이요.

그래도 어느 시점엔 압력이 누그러질 거예요.

업계는 정상화돼야 하고, 수학용 AI 스타트업들은 비즈니스 모델을 찾아야 해요. 그 모델이 에르되시 문제를 푸는 일이 될 가능성은 거의 없어요.

제가 보기에 이게 어쩌면 현재 순간의 가장 두드러진 측면이에요. 그 모든 과시와 분노에도 불구하고, AI 연구소들은 수학 자체, 그 핵심 문제와 의의에는 거의 관여하지 않아요. 이건 완전히 정상이에요. 그건 그들의 일이 아니거든요.

먼지가 가라앉을 때, 만약 가라앉는다면, 우리는 인간의 수학이 살아남았음을, 그리고 그 모습이 변해 있음을 알게 될 거예요.

저는 일정에 대해선 어떤 예측도 하지 않을 거예요. 정말 모르거든요. 어떤 능력이 언제 달성될지, 그것들이 어떤 돌파를 가능케 할지, 어떤 한계가 사후에 드러날지, 저는 몰라요.

제가 말할 수 있는 건, 변화가 이미 일어나고 있다는 거예요. 이건 정말로 과학 혁명이고, 연구 공동체는 그것에 적극적으로 관여하기 시작했어요. 이 글을 쓰는 동안에도, 저는 제 타임라인에서 매일 놀라운 진전을 봤어요. 처음 계획은 가장 인상적인 사례들을 인용하는 거였는데, 너무 많아서 도저히 감당이 안 됐어요.

비관론자라면 이건 공포에서 비롯된 반응이고 교란의 증상이라고 주장할 거예요. 우리는 모든 산업에서 같은 패턴을 보고 있어요. 자본이 이렇게 빠르게, 이렇게 거대한 규모로 재배치될 때, 미래에 대비할 합리적인 방법은 없을지도 몰라요.

제가 현역 연구를 그만두지 않았다면 이 상황을 어떻게 접근했을지 명확하지 않아요. 가장 손대기 쉬운 일이라면, 아직 쓰지 않은 제 셀 분해(cellular decomposition) 정리를 바이브 코딩(vibe-code)으로 형식화하는 거겠죠. 그러고 나서 몇 가지 거친 아이디어와 추측을 시험해 볼 수도 있겠고요. 하지만 이건 모두 옛 세계의 사고예요. 저는 수학 연구의 협업 방식과 산출물조차 바뀌어야 할 거라고 짐작해요.

제 견해는, 별로 독창적이지 않지만, AI 보조 없이 수학을 한다는 것이 상상조차 할 수 없게 될 거라는 거예요. 마치 집합론과 LaTeX 없이 수학을 한다는 게 상상조차 할 수 없게 된 것처럼요.

하지만 이건 2차 효과에 대해선 아무것도 말해주지 않아요. 저는 예측 연습 삼아 그것들을 상상해 봤고, 십여 개 정도의 아이디어를 떠올렸어요. 전부 심오하지도 않고, 전부 그럴듯하지도 않지만요. 그중 흥미롭다고 생각하는 세 가지를 소개할게요.

1. 순수 수학과 응용 수학 사이의 더 분명한 경계. 양쪽 다 동등하게 대접받아 마땅하지만, 저는 전통적인 경계 긋기 방식이 결코 마음에 들지 않았어요. 대수학은 추상적이라는 이유로 순수로 간주되지만, 엄청나게 실용적일 수도 있어요. 반대로 “응용” 분야들도 적지 않은 이론적 분파를 갖고 있고요.

제 관점은, 순수와 응용이 이해 가능성 대 응용 가능성의 트레이드오프에서 서로 다른 스위트 스폿으로 간주되어야 한다는 거예요. 전력망 규모 핵융합 원자로 설계를 빠르게 앞당길 수 있다면, 이해 가능성을 한두 세기 더 기다려야 한다 해도, 플라즈마 봉입 방정식에 100억 달러어치의 컴퓨팅을 투자하는 건 충분히 합리적이에요. 하지만 리만 가설에 대해선 같은 말을 못 하겠어요.

2. 직관 맥싱 추구자(intuition-maxxers)T6의 부상. 제겐 이게 새로운 황금기의 가장 분명한 신호일 거예요. 지금 그들이 안 보이는 이유는, 수학과 에이전틱 스킬을 함께 갖춘 드문 인재 소수가 AI 연구소들에 빨려들어 가고 있기 때문이에요. 하지만 이건 가까운 미래에 정상화될 가능성이 높은 시장 이상 현상이에요(그 조합은 점점 덜 드물어지고 있고, AI 연구소들이 흡수할 수 있는 수에는 한계가 있거든요).

저는 AI가 음악에서 샘플러와 시퀀서가 일으켰던 것과 똑같은 변혁을 일으킬 거라고 짐작해요. 프런티어 개념을 파악하기 위한 기술적 장벽이 낮아질 거고, 용감한 젊은 수학자들이 비정통적인 전술을 동원해 새로운 대륙 전체를 측량하게 될 거예요. 그 속도는 윗세대를 어리둥절하게 할 정도일 거고요.

그들은 거인 기계의 어깨 위에 서서, 그 누구보다 멀리 보게 될 거예요.

3. 수학의 철학과 신경과학에 대한 새로워진 관심. 루벤 허쉬(Reuben Hersh)는 1979년 에세이에서 플라톤주의와 형식주의가 둘 다 옹호 불가능하다고 짚으며 이런 말을 덧붙였어요.

진리와 의미의 문제는 논리학이나 집합론의 어떤 난해한 분과의 기술적 이슈가 아니에요. 그것들은 수학을 사용하거나 가르치는 누구나 마주치는 문제예요. 우리가 원한다면 무시할 수도 있어요… 그게 아무런 실용적 결과도 가져오지 않는다면 오히려 놀라운 일일 거예요.

AI는 지금 우리에게, 아무도10 예상하지 못했던 실용적 결과를 들이대고 있어요. 그리고 그것은 이미 일반 대중의 인지적 안녕에 영향을 미치고 있어요. 만약 우리가 이해 가능성의 신경가소적 가치를 분명히 표현하지 못한다면, 수학을 가르치는 데 어떤 정당화도 남지 않을 거예요. 인구의 99.99999%가 평생 마주치는 수학 문제라면, 그 해답이 모두 손끝에서 즉시 나오는 시대니까요.

사람들은 이게 우민화(idiocracy)로 귀결되리란 걸 어렴풋이 알지만, 왜 그런지 제대로 설명하지 못해요. 그리고 우리는 새 현실에 맞는 교육과 평가 방식을 아직 찾지 못했어요.

제가 우려하는 건, 어떤 “정상적인” 수학 능력의 수준이 있다는 잘못된 믿음이에요. 마치 어떤 개념들은 다른 개념들보다 더 “실재적”이거나 “구체적”이고, 고급 수학은 쓸데없이 추상적이라는 듯이요. 이는 일반 대중의 현재(그리고 한심하리만치 불만족스러운) 능력이 어떤 식으로든 “자연적” 상태를 반영한다는 환상을 만들어내요. 하지만 사실 그건 거대한(그리고 답답할 정도로 비효율적인) 교육 투자의 결과물이고, 그게 어떤 단단한 바닥이라도 되는 양 여겨져요. 진실은, 진짜로 바닥이라는 건 없다는 거예요. 인간이 5보다 큰 수에 대한 어휘조차 없는 문화 속에서도 기능할 수 있다는 사실을 막을 건 아무것도 없어요(어떤 수렵채집 부족들이 그래요).

어떤 이들은 수학이 결국 체스와 비슷해질 거라고 예언해요. 소수의 괴짜들이 열정적으로 즐기고, 일반 대중은 안전하게 무시할 수 있는 스포츠 말이에요.

이건 근시안적 견해예요. 수학의 의미 만들기와 진리 추구의 차원, 그리고 수학 훈련의 막대한 인지적 이득을 고려하지 못하거든요. 수, 집합, 통계, 선형대수, 미적분, 미분기하, 머신러닝, 조합론, 동역학계, 모형론, 군론, 특이점 이론, 호모토피 이론, 람다 계산, 복잡도 이론, 범주론에 대한 직관적 이해를 갖게 되면 세계가 훨씬 더 말이 되거든요…(굳이 어딘가에서 멈출 이유는 없어요. 다만 메뉴 전체를 한꺼번에 주문하는 건 현명하지 않을 거예요)

이 상황은 수학에만 국한된 게 아니에요. AI 도입은 다른 많은 분야에서도 정확히 같은 문제를 만들어내거든요. 하지만 수학은 지능이라는 개념 자체와 오랫동안 동행해 온 덕분에 독특한 지위와 독특한 아우라를 갖고 있어요.

그래서 “수학을 위한 AI”라는 상황이 그토록 중대한 거고, 그것의 올바른 해결이 우리 종의 미래에 그토록 중요한 거예요.

많은 사람들이 수학을 싫어하고, AI도 같은 부류로 묶어서 취급하는 경향이 있어요. 수학이나 컴퓨터가 들어간 것은 무엇이든, 자신들의 인간성과 주관성, 살아 있다는 날것의 경험, 이 세계에 잠겨 그것을 직관적으로 이해해 보려는 시도에 대한 위협으로 봐요.

그들은 어쩌면 놀라면서도 고마워할지 몰라요. 수학자들이 사실 자신들 편에 서서 좋은 싸움을 하고 있다는 사실을 알게 되면요. 카를 야코비(Carl Jacobi)가 한때 말한 것처럼, “수학의 목표는 인간 정신의 명예예요.”