자본주의 경제학은 오랜 기간 동안 하나의 대전제를 바탕으로 발전해 왔습니다. “모든 개인이 각자의 이익을 위해 최선을 다해 이기적으로 행동할 때, 시장은 가장 효율적인 상태가 되며 사회 전체의 이익도 극대화된다”는 아담 스미스의 논리입니다. 그러나 현대의 행동과학과 거시경제학은 이 장밋빛 믿음에 거대한 의문을 던지는 독특한 현상을 발견해 냈습니다. 구성원 모두가 각자의 관점에서 가장 합리적이고 이기적인 최선의 선택을 내렸음에도 불구하고, 결과적으로는 참여자 전원이 최악의 파국을 맞이하게 되는 기이한 역설이 존재하기 때문입니다. 이러한 인간의 상호 작용과 전략적 선택을 수학적으로 분석하는 학문이 ‘게임이론(Game Theory)’이며, 그 속에서 벌어지는 이기심의 함정을 가장 극명하게 보여주는 모델이 바로 ‘죄수의 딜레마(Prisoner’s Dilemma)’입니다. 본 글에서는 죄수의 딜레마가 지닌 학술적 배경과 메커니즘을 살펴보고, 우리 일상과 국제 비즈니스 환경 속에서 이 비극적 딜레마가 어떻게 작동하는지 심도 있게 분석해 보고자 합니다.
게임이론의 탄생과 죄수의 딜레마: 리더와 플러드의 발견
게임이론은 나의 이익이 나 혼자의 행동뿐만 아니라, 나와 의사결정을 함께하는 상대방의 선택에 의해서도 결정될 때 어떤 전략을 취해야 하는지 연구하는 수학적 이론입니다. 1944년 천재 수학자 존 폰 노이만(John von Neumann)과 경제학자 오스카 모겐스턴(Oskar Morgenstern)의 저서를 통해 학문적 기틀이 마련되었습니다.
이 게임이론 중에서 가장 유명한 ‘죄수의 딜레마’ 프레임워크는 1950년 미국 랜드(RAND) 연구소의 메릴 플러드(Merrill Flood)와 멜빈 드레셔(Melvin Dresher)가 수행한 연구에서 처음 고안되었으며, 이후 수학자 앨버트 터커(Albert Tucker)가 두 명의 죄수 이야기로 각색하면서 전 세계적인 명성을 얻게 되었습니다. 경제학적으로 이 모델은 상대방이 어떤 선택을 할지 모르는 ‘불완전 정보’ 상태에서, 인간의 합리적 이기심이 어떻게 공동체의 협력을 파괴하고 비효율적인 조율 실패(Coordination Failure)를 낳는지를 완벽하게 논증한 기념비적인 프레임워크로 평가받습니다.
비극의 메커니즘: 침묵과 자백 사이의 수학적 선택
죄수의 딜레마가 가진 수학적 역설을 이해하기 위해, 널리 알려진 공범자들의 심리전 시나리오를 구체적으로 살펴보겠습니다. 격리된 취조실에 두 명의 범죄 용의자 A와 B가 갇혀 있습니다. 검사는 이들에게 다음과 같은 거부할 수 없는 제안을 던집니다.
- 시나리오 1: 둘 다 범죄 사실을 끝까지 부인(침묵/협력)하면, 증거 불충분으로 각각 가벼운 형량인 1년형만 삽니다.
- 시나리오 2: 한 명은 자백(배신)하고 다른 한 명이 부인(침묵)하면, 자백한 사람은 즉시 석방되고 부인한 사람은 독박을 써서 10년형을 삽니다.
- 시나리오 3: 둘 다 서로를 밀고하여 자백(배신)하면, 참작을 받아 각각 5년형을 삽니다.
이 상황에서 용의자 A의 머릿속은 복잡해집니다. 만약 상대방 B가 침묵할 것이라 믿는다면, 자신은 자백을 해야 1년형 대신 즉시 석방되는 이득을 얻습니다. 반대로 B가 자신을 배신하고 자백할 것이라 예상한다면, 자신도 자백을 해야 10년형이라는 끔찍한 독박을 피하고 5년형으로 방어할 수 있습니다. 즉, 상대방이 어떤 선택을 하든 관계없이 용의자 A에게 가장 안전하고 유리한 ‘우월전략(Dominant Strategy)’은 오직 ‘자백(배신)’뿐입니다. 이는 용의자 B 역시 마찬가지입니다.
결국 두 명의 합리적인 경제인은 서로를 신뢰하지 못한 채 각자 최고의 선택인 ‘동반 자백’을 감행하게 되고, 서로 입을 닫았으면 누릴 수 있었던 가장 이상적인 결과(각각 1년형)를 놓친 채 ‘둘 다 5년형’이라는 최악의 파국을 맞이합니다. 1994년 노벨 경제학상을 수상한 수학자 존 내시(John Nash)는 이처럼 상대방의 전략이 주어진 상황에서 자신이 취할 수 있는 최선의 선택이 만나는 균형점을 ‘내시 균형(Nash Equilibrium)’이라 정의했습니다. 죄수의 딜레마가 주는 진정한 슬픔은, 이 내시 균형이 사회 전체적으로는 가장 비효율적인 대참사의 지점에 위치한다는 점에 있습니다.
우리 일상을 뒤흔드는 딜레마: 광고 전쟁에서 군비 경쟁까지
이 차가운 수학적 모델은 우리의 실제 비즈니스 영토와 국제 정치 무대에서 놀라울 정도로 빈번하게 재현되고 있습니다.
- 기업들의 소모적인 광고 경쟁: 시장을 양분하고 있는 두 거대 기업이 있습니다. 두 기업 모두 광고비를 쓰지 않으면 막대한 마케팅 비용을 아껴 서로 높은 순이익을 올릴 수 있습니다. 하지만 한 기업이 광고를 안 할 때 다른 기업이 공격적인 광고를 하면 시장 점유율을 몽땅 빼앗기게 됩니다. 결국 두 기업은 상대방의 배신이 두려워 매년 천문학적인 광고비를 쏟아붓는 ‘동반 배신’을 선택합니다. 광고비는 엄청나게 썼지만 점유율은 제자리걸음인 비효율적인 내시 균형에 갇히는 것입니다.
- 국가 간의 핵무기 및 군비 경쟁: 냉전 시대 미국과 소련의 핵무기 경쟁은 죄수의 딜레마의 거시적 정점이었습니다. 두 나라 모두 군비를 축소하고 평화를 유지하는 것이 국민의 후생에 절대적으로 유리했습니다. 그러나 “우리만 감축했다가 저쪽이 핵무기를 늘리면 우리는 멸망한다”는 공포와 불신 속에서 두 국가는 국가 재정이 파탄 날 때까지 핵미사일을 찍어내는 파멸적인 공멸의 길을 걸었습니다.
딜레마를 깨는 열쇠: 반복 게임과 엘프리드 액설로드의 발견
그렇다면 인류는 이 이기심의 감옥에서 영원히 탈출할 수 없는 것일까요? 미국의 정치학자 로버트 액설로드(Robert Axelrod)는 1980년대 매우 흥미로운 컴퓨터 시뮬레이션 대회를 통해 딜레마를 격파할 강력한 실마리를 찾아냈습니다.
액설로드는 전 세계 학자들로부터 죄수의 딜레마 게임을 수행할 수 있는 다양한 컴퓨터 알고리즘 프로그램을 제출받아 서로 수만 번씩 대국을 벌이게 했습니다. 단발성 게임에서는 무조건 상대를 배신하는 프로그램이 승리했지만, 수없이 만남이 지속되는 ‘반복 게임(Iterated Game)’ 환경에서는 놀라운 반전이 일어났습니다. 최종 우승을 차지한 것은 가장 단순하게 짜인 ‘팃포탯(Tit-for-Tat, 이에는 이, 눈에는 눈)’ 전략이었습니다. 이 전략의 규칙은 간단합니다. 첫 번째 만남에서는 무조건 상대방을 신뢰하고 협력합니다. 하지만 상대방이 나를 배신하면 다음 차례에 똑같이 배신으로 응징합니다. 그러다 상대방이 다시 협력으로 돌아서면 쿨하게 용서하고 다시 협력합니다. 신뢰를 바탕으로 시작하되 배신에는 확실한 페널티를 주고, 반성하면 언제든 다시 손을 잡는 이 단순한 상호주의 규칙이 이기적인 배신자들을 모두 무릎 꿇리고 공동체의 장기적인 번영을 이끌어내는 최고의 생존 공식임이 학술적으로 증명된 것입니다.
요약: 신뢰가 곧 가장 강력한 경제적 자산이다
결론적으로 게임이론과 죄수의 딜레마는 신뢰와 제도적 안전장치가 결여된 자본주의 시장 경제가 얼마나 쉽게 아수라장으로 변질될 수 있는지를 경고하는 묵직한 거울입니다. 눈앞의 사적인 이익만을 좇는 파편화된 개인주의는 결국 사회 전체의 비용을 증가시키고 모두를 불행하게 만드는 덫이 됩니다.
[작성자의 생각] 서로를 믿지 못해 끝없는 소모전과 방어기제 속에서 에너지를 낭비하는 사회는 결코 성숙한 성장을 이룰 수 없다고 생각합니다. 단기적인 이윤보다 상호 간의 신뢰를 구축하고 규칙을 준수하는 연대의 힘을 발휘할 때, 비로소 우리는 차가운 이기심의 딜레마를 깨부수고 함께 생존하는 진정한 경제적 상생의 길로 나아갈 수 있을 것입니다.