길거리는 모두가 함께 쓴다. 그런데 모두가 이기적으로 행동한다면 거리는 어떻게 될까? 마구 쓰레기를 버리고, 가로수를 벨지도 모른다. 신호등이 고장 나거나, 도로가 파여도 아무도 고치지 않을지도 모른다. 이렇게 모두가 함께 쓰는 곳이 황폐해지는 현상을 ‘공유지의 비극’이라고 부른다. 이는 수학적으로 증명되기도 했다. 해결할 방법은 없을까?

매 일 식탁 위에 올라오고 있는 각종 물고기들. 바다가 넓은 만큼 물고기는 계속 잡아도 없어지지 않을 것만 같았다. 하지만 쥐치, 명태, 정어리 등 우리나라에서 많이 잡히던 물고기가 사라지고 있다. 가장 큰 이유는 마구잡이로 물고기를 잡았기 때문이다. 물고기를 마구잡이로 잡는 남획은 왜 일어날까? 미국의 생물학자인 가렛 하딘(Garrett Hardin, 1915~2003)은 남획이 일어나는 이유를 분석해 1968년 과학잡지 <사이언스>에 ‘공유지의 비극’이란 제목의 논문을 냈다. 공유지의 비극이란 ‘지하자원, 초원, 공기, 바다에 있는 고기와 같이 모두가 함께 사용해야 할 자원을 마구잡이로 사용해 고갈될 위험에 처해 있다’는 뜻이다.

하딘은 ‘목동게임’을 이용해 공유지의 비극을 수학적으로 증명했다. 어떤 마을에 100 마리의 소를 기를 수 있는 마을 공동의 땅이 있다고 하자. 마을의 모든 농가는 이곳에서 소를 기를 수 있다. 이 때 각 농가는 자신의 소를 이 공유지에서 가능한 많이 키우려 할 것이다. 하지만 이곳에서 100마리 이상의 소를 기르면 풀이 다시 자라지 못해 황폐해진다. 따라서 마을의 농가들은 모두 100마리가 넘지 않는 선에서 소를 먹여야 한다.

각 농가는 공유지에 자신의 소를 더 방목해서 생기는 이익과 비용을 비교해, 이익이 비용보다 많다면 더 방목하는 것이 합리적이다. 반대로 비용이 이익보다 많으면 더 방목하지 않는다. 이 때 각 농가의 이익은 공유지에서 소를 길러 파는 돈인데, 이를 100만 원이라고 가정하자. 만일 마을의 농가가 부담하는 비용이 100만 원 이상이면, 각 농가는 공유지에서 더 이상 방목을 하지 않을 것이다.

그러나 추가 방목으로 얻는 이익은 각 농가가 혼자 차지하지만 비용은 다른 농가와 함께 부담하게 돼, 사실 각 농가가 부담하는 비용이 크지 않다. 따라서 각 농가의 이익은 비용보다 커서 농가들은 공유지에서 소를 더 기르게 된다. 이런 현상이 계속되면 공유지는 어떤 소도 기를 수 없는 황무지가 된다. 개인의 이익 추구가 모두의 이익을 깎아내리는 현상이 발생하는 것이다.

하딘이 공유지의 비극을 설명하기 위해 제시한 ‘목동게임’은 게임이론의 하나다. 게임이론은 수학자이자 물리학자인 존 폰 노이만(John von Neumann, 1903~1957)에 의해 탄생한 응용수학의 한 분야다. 폰 노이만은 게임이론을 통해 협력, 갈등, 대립 등을 수학적으로 나타내 전쟁에서 적의 행동을 예측하거나, 일상적인 경제 활동을 예측할 수 있도록 도왔다.

게임이론은 영화 [뷰티풀 마인드]의 주인공이기도 한 미국의 수학자 존 내시(John F. Nash, 1928~)의 ‘죄수의 딜레마’로 잘 알려져 있다. 죄수의 딜레마는 협력할 때 서로 가장 이익이어도, 이기적인 마음으로 인해 서로에게 불리한 상황을 선택하는 사례를 잘 보여 준다.

죄수의 딜레마는 공유지 관리에서 협력이 일어나기 힘들다는 것을 잘 보여 줘 목동게임을 뒷받침한다. 공유지를 관리하기 위해선 서로의 이기심을 줄이고 협동할 필요가 있다. 하지만 합리적이고 이기적인 개인은 다른 사람들이 협동할 때 슬쩍 빠져 혼자서 이익을 얻으려는 욕심이 생기게 마련이다. 만약 모두가 이기적인 선택을 한다면 결과적으로 공유지는 황폐해질 수밖에 없다.

한 마을에서 절도 사건이 일어났고, 두 명의 용의자가 체포됐다. 용의자 둘은 서로 다른 곳에서 경찰에게 심문을 받았다. 이 둘은 서로 사건에 대해 이야기할 수 없었다. 경찰은 다음과 같은 조건을 용의자에게 제시했다.

용의자 A는 용의자 B가 침묵할 것으로 생각하면 자백을 하는 것이 유리하다. B가 자백하지 않으면 석방되기 때문이다. 반대로 B가 자백해도 자백하는 것이 낫다. 자신이 침묵하면 10년 동안 감옥에 있어야 하지만, 자백하면 5년만 있으면 되기 때문이다. 이는 용의자 B도 마찬가지인데, 결국 용의자 A, B는 모두 자백을 하고 각각 5년간 감옥에 있게 된다.

죄수의 딜레마에서 용의자는 상대방은 생각하지 않고, 자신의 이익을 극대화한다는 가정 속에서 움직인다. 이 때 언제나 협동(침묵)보다는 배신(자백)으로 더 많은 이익을 얻으므로, 모두 배신을 택한다.

죄수의 딜레마에서 용의자는 상대방은 생각하지 않고, 자신의 이익을 극대화한다는 가정 속에서 움직인다. 이 때 언제나 협동(침묵)보다는 배신(자백)으로 더 많은 이익을 얻으므로, 모두 배신을 택한다. 결국 둘 다 5년간 복역하게 되고, 이는 둘 모두가 자백하지 않고 6개월을 복역하는 것보다 나쁜 결과다.

이처럼 목동게임과 죄수의 딜레마를 보면 우리는 협동할 수 없고, 공유지의 비극은 언제든 계속 일어날 것만 같다. 하지만 이런 게임의 예측은 단 한 번의 게임일 때에 한정된다. 게임이 반복되면 용의자들에게 비협조적이었던 다른 용의자에게 벌칙을 부여할 기회가 주어진다. 서로 배신하던 사람들은 벌칙을 두려워해 서로 해 서로 협력하게 된다.

이때 가장 좋은 전략은 ‘눈에는 눈’ 전략이다. 이 전략은 처음에는 일단 협조한다. 이 때 상대방이 나를 배신하지 않으면 두 번째도 협조하는 것이다. 만약 협조했을 때 상대방이 배신한다면, 다음 차례에는 배신하는 것이다. 양쪽 모두 ‘눈에는 눈’ 전략을 쓴다면 가장 바람직한 결과를 얻을 수 있다.

사 슴사냥게임은 조건을 달리하면 협동이 일어날 수 있다는 것을 보여 준다. 이 게임에서 사슴을 사냥하기 위해서는 두 명의 사냥꾼이 힘을 합쳐야 한다. 하지만 토끼 사냥은 혼자 할 수 있다. 사냥꾼 A와 B가 함께 사슴을 사냥하기로 약속했는데, 갑자기 그 옆으로 토끼 한 마리가 지나간다. 이 때 토끼와 사슴 중 무엇을 함께 잡아야 할까? 사냥꾼 A, B의 선택에 따른 결과는 다음과 같다.

함께 사슴을 잡으면 둘 다 4의 이득을 얻는다. 하지만 한쪽이 배반하면, 배반하는 사람은 2를 얻는다. 둘 다 배반하면 각각 2를 얻는다. 둘이 협력하면 둘 다 4의 이익을 얻지만, 배반한다면 2밖에 얻지 못하므로 협력을 하게 된다. 이럴 경우 사회적 협력이 생기는 것이다. 게임이 반복되거나, 서로 협력을 할 수밖에 없는 구조가 만들어지면 이기적인 사람이라도 협력을 할 수밖에 없게 된다. 죄수의 딜레마와 공유지의 비극에서 벗어날 길이 보이는 것이다.

2009년 여성 최초로 노벨 경제학상을 받은 정치학자 엘리너 오스트롬(Elinor Ostrom, 1933~)은 실제 공유지의 비극을 넘어선 사례를 찾고 있었다. 그러던 중 그는 미국, 캐나다, 터키, 일본 등의 많은 지역에서 주민들이 ‘자발적으로’ 공유자원을 잘 관리해 공유지의 비극을 해결한 사실을 발견했다. 대표적인 사례가 미국 메인주 연안의 바닷가재잡이 어부들이었다. 이 지역은 1920년 대 이미 남획으로 인해 바닷가재가 없어질 위기에 처했다. 이를 깨달은 어부들은 바닷가재 통발을 놓는 규칙과 순서 등에 대한 자치 규율을 만들어 바닷가재 잡는 양을 조절했다. 이 결과 다른 지역이 남획으로 바닷가재가 완전히 사라졌을 때, 이곳만은 어장을 유지할 수 있었다.

게임이론에선 경제활동에서 일어나는 경쟁과 협력, 그리고 배신을 수학적으로 보여 준다. 사람의 이기심과 이타심을 해석하는 데에도 수학이 중요한 역할을 하고 있다.