인간-AI 상호작용을 ‘시스템 0’ 사고로 보는 관점
게시일: 2025년 12월 18일 | 원문 작성일: 2024년 10월 22일 | 저자: Massimo Chiriatti 외 4인 | 원문 보기
핵심 요약
대형 언어 모델의 등장 이후, AI는 일상적인 인지 작업을 대신하는 개인화된 시스템으로 자리 잡고 있어요. 저자들은 이런 인간-AI 상호작용을 카너먼의 이중 시스템 이론에 더해 ‘시스템 0’이라는 새로운 심리 시스템으로 제안해요.
- 시스템 0의 정의 — 특정 인지 작업을 AI에 위탁하는 것. 인간의 능력을 초월한 방대한 데이터 처리와 복잡한 연산을 수행해요.
- ‘확장된 마음’ 가설 충족 — 시스템 0은 정보 흐름, 신뢰성, 개인화 등 인지 확장의 모든 기준을 다양한 수준으로 만족해요.
- 의미 생성의 부재 — 시스템 1, 2와 달리 시스템 0은 본질적인 의미 생성 능력이 없어요. 의미 있는 출력은 전적으로 인간의 해석에 의존해요.
- 윤리적 도전 — 자율성 약화와 책임 소재 불명확이라는 중요한 윤리적 질문을 제기해요.
• • •
배경: AI의 일상 침투
대형 언어 모델의 급성장 이후, 주요 기술 기업들은 다양한 일상적 인지 작업을 맡기는 개인화된 지능형 시스템을 출시하고 있어요. 이 시스템들은 텍스트를 다시 쓰거나 교정하고, 독창적인 이미지를 생성하며, 과거의 콘텐츠를 검색하고, 맞춤형 지원을 제공하도록 설계되었죠.
이런 AI 도구들이 일상에 빠르게 통합되면서, 우리가 생각하고 결정을 내리는 방식 자체가 재편되고 있어요.
시스템 0이란?
저자들은 데이터 기반 AI 시스템이 개별 도구를 넘어 여러 AI 서비스가 연결된 생태계를 이루면서, 독립적인 심리 시스템을 구성한다고 제안해요. 이를 ‘시스템 0’이라 부르며, 카너먼1의 시스템 1(빠르고 직관적인 사고)과 시스템 2(느리고 분석적인 사고)와 나란히 배치해요.
시스템 0은 특정 인지 작업을 AI에 맡기는 것이에요. AI는 인간의 능력을 넘어서는 방대한 데이터를 처리하고 복잡한 연산을 수행할 수 있죠. 이는 사용자와 AI 시스템의 상호작용에서 생겨나며, 인간과 정보 사이에 역동적이고 개인화된 인터페이스를 만들어내요.
왜 ‘시스템 0’인가?
‘시스템 0’이라는 용어는 현대 인지에서 그 기반적이고 보편적인 역할을 강조하기 위해 의도적으로 선택되었어요. 개인의 마음 안에서 작동하는 시스템 1, 2와 달리, 시스템 0은 우리의 직관과 분석 과정 모두를 뒷받침하는 외부의 인공 지능 계층이에요. 마치 운영체제가 앱 아래에서 돌아가듯, 시스템 0은 우리 사고의 기반에서 작동해요.
이 명칭은 시스템 0이 정보의 전처리기이자 증강기로서 기능한다는 점을 강조해요. 우리가 생각하기 전에 받는 정보를 단순히 더 많이 제공하는 게 아니라, 그 정보 자체를 능동적으로 재구성하죠.
확장된 마음 가설과의 연결
저자들은 클라크와 찰머스2의 확장된 마음 가설을 기반으로 시스템 0이 인간 마음의 확장으로 간주될 수 있다고 주장해요. 특히, 시스템 0은 허스밍크3의 인지 확장 기준 모두를 다양한 수준으로 충족해요:
| 기준 | 시스템 0이 기준을 충족하는 방식 |
|---|---|
| 정보 흐름 행위자와 도구 사이의 정보 전달 방향 | 인간과 시스템 0 사이에 양방향 정보 흐름이 존재해요. 시스템 0은 우리의 인지에 영향을 미치는 맞춤형 정보와 출력을 제공하고, 우리도 시스템 0과 상호작용하며 질의를 보내죠. |
| 신뢰성 도구가 행위자의 인지 과정에 영향을 미치는 빈도 | 시스템 0이 더 정확하고 신뢰할 수 있게 될수록, 시스템 1과 2에 압도적이고 지속적인 방식으로 더욱 큰 영향을 미칠 것으로 기대돼요. |
| 지속성 도구와의 관계의 영속성 | 시스템 0은 이미 정보를 얻고 결정을 내릴 때 자주 쓰이고 의존되고 있어요. |
| 신뢰 도구가 제공하는 정보를 의심 없이 올바른 것으로 받아들이는 정도 | 시스템 0의 출력은 종종 지각이나 기억을 받아들이듯 쉽고 즉각적으로 수용돼요. |
| 절차적 투명성 도구와의 상호작용에서 유창함과 노력 없음의 정도 | 시스템 0은 빠르고 직관적으로 작동해서, 큰 노력 없이 쓸 수 있어요. |
| 정보적 투명성 도구로부터 정보를 받고, 해석하고, 이해하는 유창함의 정도 | 시스템 0은 쉽게 해석하고 이해할 수 있는 방식으로 정보를 제공해요. |
| 개인화 도구가 개인화되어 있는 정도 또는 누구나 사용할 수 있는 정도 | 시스템 0은 사용자에 맞춰 개인화된 출력을 제공해요. |
| 변형 도구 사용으로 인해 행위자의 인지 능력이 변화하는 정도 | 시스템 0은 우리의 인지 능력을 증강하고 확장할 수 있으며, 이를 통해 인지 능력 자체가 변형돼요. |
허스밍크는 이러한 차원들에서 높은 점수를 받을수록 사용자와 시스템 간의 결합이 더 긴밀하다고 주장해요.
시스템 0의 결정적 한계: 의미 생성의 부재
하지만 시스템 0은 내재적인 의미 생성 능력의 결여에서 시스템 1, 2와 결정적으로 달라요. 데이터를 빠르고 효율적으로 처리하고 조작할 수 있지만, 시스템 0은 자신이 다루는 정보의 의미를 진정으로 파악하거나 이해하지 못할 수 있어요. 의미 있는 출력을 생성하는 능력은 전적으로 인간의 해석과 시스템 1, 2의 의미 생성 과정에 의존해요.
인식론적·윤리적 질문들
시스템 0이 인간 인지에 통합되면서 중요한 인식론적·윤리적 질문이 제기돼요. AI를 거쳐 받는 정보와 의사결정 과정에 점점 더 의존하게 되면서, 우리도 모르게 AI의 계산적 논리에 맞춰 생각하게 될 수 있어요. 이런 변화는 독립적 추론과 비판적 사고 능력에 도전이 될 수 있죠.
예를 들어 내성—자기 내면을 들여다보는 것—을 생각해 보세요. 이건 전통적으로 오직 자기 자신만 할 수 있는 영역이었어요. 그런데 이제 우리는 “당신은 지금 스트레스 상태입니다”라는 AI의 분석에 의존하게 될 수 있어요. AI가 우리의 행동 데이터를 분석해서 패턴을 찾아낼 수는 있지만, 그게 내가 실제로 느끼는 감정을 진정으로 이해하는 것일까요?
더구나 시스템 0을 학습시키는 데이터가 점점 더 AI가 생성하거나 요약한 것이 되고 있어요. 현실에서 직접 나온 게 아니라 이미 한 번 가공된 데이터로 훈련된 AI를 믿어야 하는 거죠. 이런 상황에서 의사결정의 타당성을 어떻게 보장할 수 있을까요?
가장 시급한 우려: 비판적 사고의 침식
가장 시급한 우려 중 하나는 비판적 사고와 추론 능력의 잠재적 침식이에요. 우리가 시스템 0의 출력을 의심하거나 면밀히 검토하지 않고 맹목적으로 신뢰한다면, 독립적으로 생각하고 스스로 판단을 내리는 능력을 잃을 위험이 있어요. 이는 위험한 형태의 지적 안일함과 혁신, 창의성의 저하로 이어질 수 있죠.
이런 관점에서 시스템 0은 중요한 윤리적 도전을 제기해요:
- 자율성 약화: 우리의 신념과 의도를 형성하는 정보가 점점 더 AI 시스템에 의해 걸러지고 편집된다면, 진정한 자율성을 어느 정도까지 유지할 수 있을까요?
- 책임 소재: 신뢰했던 AI가 처리한 정보에 기반한 결정에 대해 개인에게 어떻게 책임을 물을 수 있을까요?
동시에, 인간 혼자서는 해결하기 어려운 문제를 풀고 인지 능력을 확장하는 데 있어 시스템 0의 잠재적 이점을 인정하는 것도 중요해요.
연구진의 권고사항
이 복잡한 인지 환경을 탐색하기 위해 저자들은 다음을 권고해요:
- 시스템 0을 구성하는 AI 시스템의 신뢰성, 투명성, 잠재적 편향을 평가하는 프레임워크 개발
- 의사결정 과정에서 AI의 책임 있고 윤리적인 사용에 대한 가이드라인 수립
- 개인이 AI가 걸러주는 정보 환경에서 길을 잃지 않도록 디지털 리터러시와 비판적 사고 능력 증진
- 인간-AI 통합의 인지적, 심리적, 사회적 효과에 대한 학제간 연구 장려
- AI 증강 인지의 윤리적 함의와 인간 자율성 및 의사결정에 미치는 잠재적 영향에 대한 공개 대화 촉진
결론: 공유된 성찰의 대상으로서의 AI
”AI가 인류를 구원할 것이다” vs “AI가 인류를 파멸시킬 것이다”라는 극단적 시각에 휩쓸리기보다, 저자들은 이 혁명적인 시스템을 함께 깊이 성찰해야 할 대상으로 삼아야 한다고 권고해요. 어떻게 하면 AI를 인간 사고의 미래에 잘 통합할 수 있을지 말이죠.
열린 포용적 대화를 통해, AI가 인지적 자율성과 윤리적 기반을 약화시키기보다 강화하는 도구로 남을 수 있도록 보장할 수 있어요.
역자 주
- 대니얼 카너먼(Daniel Kahneman): 이스라엘 출신 미국 심리학자로, 인간의 판단과 의사결정에 관한 연구로 2002년 노벨 경제학상을 수상했어요. 그의 저서 《생각에 관한 생각(Thinking, Fast and Slow)》에서 ‘시스템 1’(빠르고 직관적)과 ‘시스템 2’(느리고 분석적) 사고 모델을 대중화했죠. ↩
- 앤디 클라크(Andy Clark)와 데이비드 찰머스(David Chalmers): 1998년 논문 “The Extended Mind”에서 ‘확장된 마음 가설’을 제안한 철학자들이에요. 이 가설은 인지가 두뇌 안에만 국한되지 않고, 노트북이나 스마트폰 같은 외부 도구로 확장될 수 있다고 주장해요. ↩
- 리처드 허스밍크(Richard Heersmink): 인지 통합(cognitive integration)을 연구하는 철학자로, 인간과 기술적 도구 사이의 결합 정도를 평가하는 8가지 차원(정보 흐름, 신뢰성, 지속성, 신뢰, 절차적 투명성, 정보적 투명성, 개인화, 변형)을 제시했어요. ↩
저자: Massimo Chiriatti (Lenovo), Marianna Ganapini (Union College), Enrico Panai, Mario Ubiali, Giuseppe Riva (Catholic University of the Sacred Heart & Istituto Auxologico Italiano)
참고: 이 글은 Nature Human Behaviour에 게재된 correspondence를 번역한 것입니다.
원문: The case for human–AI interaction as system 0 thinking - Nature Human Behaviour, Volume 8, pp. 1829-1830 (2024년 10월 22일)
생성: Claude (Anthropic)