'공리'를 알면 학문의 실체가 보인다.

'공리'를 알면 학문의 실체가 보인다.
'철학적 사고로 배우는 과학의 원리' 후기

고대 그리스 이래 '수학'이라는 학문은 한 마디로 '완벽한 것', '영원불멸한 것'으로 여겨져 왔다. 사실 엄밀히 말하면 '완벽할 거라 기대하는 것'이라는 표현이 더 정확할지도 모른다. 왜냐하면 수학자들은 자체적으로 완전한 수학을 통해 세상을 설명하고, 그것의 기준들과 방법들을 다른 지식 영역에도 적용하려는 열망이 있었기 때문이다. 하지만 이에 대해 비판적이었던 인식론자들은 이렇게 완벽해 보이는 수학도 어딘가에서부터 출발한 것이고, 그 출발점은 인위적으로 만들어진 규칙에 불과하지 않을까 생각했다. 즉 수학의 확실성을 의심한 것이다.

"수학은 과연 어디서부터 출발하는가?"

"어쩌면 우연적인 요소들이나, 참인지도 확인되지 않은 직관적인 사실들로부터 시작된 것이 아닐까?"

우리의 몸이 단 하나의 세포에서 시작된 것처럼 수학 또한 단 하나의 명제로 시작했다. 그 '공리'가 무엇인지 자세히 들여다보고, 그 실체를 알면 적잖이 놀랄 수 있다. 공리는 참인지 거짓인지 증명할 수 없지만 올바른 것으로 가정하자는 암묵적인 이해를 기반으로 한 '약속'인 것이다. 그저 직관적인 앎을 토대로 '그냥' 자명해 보이니까 공리로 정하자고 한 것이다.

비유클리드 기하학이 만들어진 이후, 수학자들은 위의 사실을 인지하며 유클리드 기하학의 공리가 다른 곳에도 적용이 된 건 순전히 관습 때문이라는 것을 알게 된다. 때문에 자유롭게 (최소한의 기준을 충족시키는) 공리를 선택해 또 다른 수학 이론을 구축해나갈 수 있음을 인식하게 된다.

수학자 힐베르트는 그렇다면, 어떤 공리를 정해 그것을 토대로 새로운 수학 체계를 만들어낼 수 있다면, 공리의 수를 최대한 줄여 직관에 의지하는 것을 최소화하고, 최대한의 확실성을 확보할 수 있는, 모순을 일으키지 않는 명제를 공리로 설정해 완전한 체계를 이룰 수 있을 거라 생각했다.

"'최소한의' 공리, 그리고 '모순이 없는' 공리를 토대로 어떠한 수학적 사실이든 진위를 판정할 수 있는 수학 체계를 발견해보자!" 이것이 바로 힐베르트 계획의 핵심 목표였다.

그는 첫째로 논리적으로 모순이 없고, 둘째로 어떤 것이든 참, 거짓을 판별할 수만 있다면 아무리 이론의 첫 시작이 직관적인 앎에 근거한 약속된 공리여도 온전한 수학 체계를 세울 수 있다고 생각했다. 그래서 힐베르트는 수학적으로 핵심 이슈인 23개의 문제를 제시하고, 앞으로 만들 궁극의 수학 체계로 이 문제들의 참, 거짓을 가리고 풀어가자고 자신 있게 말했다.

과연 힐베르트가 꿈꾸는 완전한 수학 체계란 존재하는 것일까? 이 원대한 꿈은 젊은 수학자이자 논리학자인 괴델에 의해 허망한 꿈으로 전락하게 된다.

당시 23개의 문제 중 첫 번째 문제는 칸토어가 주장한, '자연수와 실수 사이의 무한집합은 없다'는 '연속체가설'이었는데, 괴델은 1940년 이 가설이 현재의 집합론 안에서는 거짓이라고 판정할 수 없음을 증명해 보였다. 게다가 1960년 수학자인 코헨 또한 이 가설이 참이라고 판정할 수 없음을 증명했다. 결국 이 두 발견으로 인해 '연속체가설'이 증명도, 반증도 할 수 없는 가설임이 드러나버린 것이다. 결국 첫 번째 문제부터 어떠한 수학 체계 안에서 그 공리들이 모순을 갖고 있지 않다는 걸 그 체계 안에서는 증명할 수 없음을 밝혀져 힐베르트의 계획은 무산되고 말았다.

괴델은 제1불완전성 정리에서 특정 명제가 진실이든, 거짓이든 모순이 생겨버리는 '자기 언급의 패러독스'가 수학에서도 발견됨을 발견했다.

"수학에서 증명도 반증도 불가능한 명제가 반드시 포함된다."(제1정리)

아무리 적절해 보이는 공리로부터 이론을 구축한다 한들 반드시 참이라고도, 거짓이라고도 할 수 없는 명제를 반드시 포함하게 된다. 정말 그렇다면 애초에 수학은 진위 판명을 할 수 없는, 불완전한 도구였던 것이다. 

제1정리의 내용으로부터 제2정리가 자연스럽게 도출된다. 수학 이론에서 증명 불가능한 명제가 반드시 포함되어 있다는 것은 아래의 사실을 나타낸다.

"그 이론 체계에 모순이 없다고 해도 스스로의 체계가 옳다고 증명하는 것을 그 안에서는 증명할 수 없다."(제2정리)

이건 마치 검은 까마귀만을 여태껏 봐와서 '이 세상에는 검지 않은 까마귀란 존재하지 않는다'라고 감히 말할 수 없는 것과 같다. 당장이라도 흰색 까마귀가 등장하면 어떻게 할 것인가? 모순을 찾지 않았다고 해서 모순이 없다고 확실할 수는 없다. 정리하면, 수학 내부에서 모순이 지금껏 발견되지 않았다는 사실이 수학의 완전성을 결코 보장할 수 없다는 것이다.

이로써 그동안의 수학자들의 깊은 신앙이었던 '인간은 이성을 이용해 어떤 명제든 참인지, 거짓인지 반드시 알아낼 수 있다'는 환상은 산산조각 나게 된다. 인간 이성에 근본적인 한계가 있음을 '수학'이라는 가장 단단해보이는 학문을 대상으로 매우 분명하게 보여준 셈이다. 이게 수학의 기본 틀을 무너뜨려 수학을 붕괴시킨 것이 아닌가 라는 생각을 가질 수도 있지만, 수학의 구조와 한계를 드러내 문제의 본질에 직면함으로써 오히려 더 진보할 수 있는 계기가 되었다.

괴델의 불완전성 정리는 수학 뿐만 아니라 다른 일반적인 학문들에도 적용되는 내용이다. 모든 학문은 공리로부터 출발하기 때문이다. 불완전성 정리를 통해 그동안 학자들이 제대로 보지 못했던 학문의 본질을 마주하게 됐다. 그래서 그들이 얻게 된 결론이 무엇일까? 학문의 완성도는 공리의 참, 거짓 여부가 결정하는 것이 아니며, 특정 공리를 기반으로 논리적으로 모순이 없는 결과들을 도출해낼 수 있다면 그것은 학문이라는 이름을 얻을 수 있게 된다는 것이다.

그렇다면 왜 우리는 학문을 발전시키고, 이론을 끊임없이 만들어내는 것일까? 그것은 바로, 무시할 수 없는 학문의 '유용성' 때문이다. 학문은 절대로 진리를 온전히 담아낼 수 없지만, 일상에서 보편적으로 일어나는 일들에 대해 실험하고, 검증하고 연구해 세상의 현상들을 잘 설명하고 풀이해준다. 우리는 학문을 일종의 도구로 여기고 최대한의 유용성을 뽑아낼 수만 있으면 되는 것이다.

학문을 제대로 하기 전에 이런 인식론적인 공부가 선행되야 학문의 타당성과 유용성을 잘 분별할 수 있게 된다. 그리고 학문하는 진정한 태도를 갖출 수 있게 된다. 학문의 원리, 구조, 한계를 알고 특정 학문에 필요 이상의 중요성을 두지 않고, 또 세상을 각자의 입장에서 표현하는 학문들 사이의 경계를 허무는 것. 학문의 실체를 정확히 아는 것만으로도 인간의 이성과 학문을 통해 굴러가는 이 세상 위에 올바르게 서있을 수 있게 된다.

by Audrey