@ 원래 다른 주제로 글을 쓰려 했는데 쓰다보니 너무 길어져서 별개의 글로 나눕니다 -_-;

임레 라카토슈(Imre Lakatos)는 헝가리 태생의 철학자로, 칼 포퍼의 제자였던 사람이다. 포퍼의 제자라고는 하지만, 쿤의 영향도 강하게 받아서 나중에는 포퍼와 얼굴도 안 보는 사이가 되었다는 소문이 있다 -_-;

여튼 이 아저씨가 쓴 책 중에 <증명과 반박>이라는 책이 있다. 우리는 일반적으로 수학이 철저한 '증명'으로 이루어져있고, 그 어디도 손댈 수 없다고 믿고 있다. 하지만 라카토슈는 자신의 박사 논문을 편집해 출판한 이 책에서, 수학 역시 '역사 발생의 논리'를 따른다고 주장하고 있다. 즉, 수학도 처음부터 완벽한 형태로 등장하는 것이 아니라 역사의 흐름에 따라 덧대기가 계속 가해진다는 것이다.

라카토슈가 제시하는 수학적 발견의 논리는 다음과 같다. 한 번 차근차근 살펴보자.

1) 원초적인 추측.
2) 증명.
3) 전면적인(global) 반례.
4) 증명의 재검토 및 추측의 개선.
5) 새로운 추측을 기준으로 다른 정리들의 검토.
6) 원래의 추측에서 나온 결론들 검토.
7) 반례가 새로운 예로 변형되면서 새로운 탐구 분야 확립.

첫번째 단계와 두번째 단계는 우리에게도 이미 익숙하다. 예컨대 '삼각형의 세 내각의 합은 180도이다'라는 명제를 생각해보자. 처음 이걸 발견한 사람이 철저하게 증명했을까? 아마 아닐 것이다. 그가 주위의 몇몇 삼각형을 살펴보니 죄다 180도를 가지고 있었고, '아, 아마 삼각형의 세 내각의 합은 180도인가보다'라고 원초적인 추측을 했을 것이다. 이후 어느 시점에서, 이 '추측'이 마음에 안 들었던 누군가가 제대로 된 증명을 제시했을 것이고, 후학인 우리는 그 증명을 받아들여 마치 그 증명이 원래부터 있었던 양 배우는 것이다.

흥미로운 것은 세번째 단계부터이다. 어디선가 '반례'가 제시된다. 여기서 '전면적인 반례'라는 용어에 대해서는 라카토슈의 정의를 따르도록 하자.

보조 정리를 반박하는 (반드시 본래의 추측을 반박하지는 않는) 예를 '국소적 반례'(local counterexample)라고 부르겠습니다. 그리고, 본래의 추측 그 자체를 반박하는 예를 '전면적 반례'(global counterexample)라고 부르겠습니다. (우정호 역, <수학적 발견의 논리>, 아르케, 34쪽)

즉, 국소적 반례는 증명의 중간 과정에 사용된 보조 정리(혹은 렘마 lemma)를 반박하는 반례로, 본래의 추측에 모순되지는 않는 반례를 의미한다. 반면 전면적 반례는 본래의 추측을 반박하는 반례이다. 예컨대 '소수의 무한성'을 증명하는 과정을 다음과 같이 진행한다고 하자.

1) 소수가 유한하다고 가정하고, 각 소수를 작은 수부터 a₁, a₂, …, a_N이라고 명명하자.
2) 모든 소수를 다 곱한 후 1을 더한 (a₁×a₂× … ×a_N + 1)은 a₁, a₂, …, a_N 중 어떠한 수로도 나누어지지 않는다.
3) 따라서 이 수는 소수이고, 이 수는 a₁, a₂, …, a_N보다 크므로 본래의 가정은 틀렸다.
4) 그러므로 소수는 무한하다.

자, 이제 2번에서 3번을 넘어가는 항목에 대한 반례를 제시한다. 소수가 2에서 13까지만 존재한다고 가정하자. 그러면 2번의 '소수'는 2×3×5×7×11×13 + 1 = 30031로, 59×509로 소인수분해되는 합성수이다. 따라서 이 증명 과정은 '옳지 않다'. 하지만 이 반례가 본래의 추측에는 모순되지 않는다. 소수가 2에서 13까지밖에 없다고 가정했을 때 59와 509라는 새로운 소수가 '나타난' 셈이니까 역시 소수가 무한하다는 주장에는 모순되지 않는 것이다. 이러한 반례를 라카토슈는 '국소적 반례'라 부른다. 국소적 반례의 경우, 보조 정리를 적절히 수정해주기만 하면 보통 해결된다.

문제는 전반적 반례의 경우다. 앞에서 이미 예로 제시했던 '삼각형의 세 내각의 합'을 보자. 우리가 잘 알고 있다시피, 지구본 위에서 삼각형을 그리면 그 내각의 합은 180도가 넘는다. 이건 최초의 '추측'을 부정하는 반례이다. 이런 경우 수학자들은 어떻게 대처하는가? 라카토슈가 제시하고 있는 방법에는 다음과 같은 녀석들이 있다.

(a) 추측의 기각. 항복방법.
(b) 반례의 거부. 괴물 배제법.
(c) 예외 베재법에 의한 추측의 개선.
(d) 괴물 조정법.
(e) 보조 정리 합체법에 의한 추측의 개선. (앞의 책, 39쪽-86쪽)

(a) 방안과 (b) 방안은 가장 쉬운 길이다. (a) 방안은 "아 그래 내가 제시한 추측이 ㅄ이구나 미안 잘못했어염 T_T"라고 포기해버리는 것이다. 한편 (b) 방안은 "웃기지마라 그건 반례가 아냐!"라고 우기는 것이다. 라카토슈의 글을 다시 인용한다.

Delta: 그러나 왜 그 반례를 받아들입니까? 우리는 추측을 증명하였습니다. 이제 그것은 정리입니다. 그것이 소위 '반례'와 충돌하는 것은 시인합니다. 그 중 하나는 포기해야 합니다. 그러나 증명되었는데 왜 정리가 포기되어야 합니까? 물러서야 할 것은 '비판'입니다. 그것은 가짜 비판입니다. (앞의 책, 40쪽)

이 경우 수학자는 '증명'이 되었기 때문에 반례는 정확한 의미의 반례가 아니라고 우길 수 있다. '삼각형의 세 내각의 합' 예로 돌아가자면, "평면 위에 그린 삼각형이 아니면 다 삼각형이 아니야!"라고 외치는 것과 같은 경우랄까.

(c) 방안은 어떨까? (c) 방안은 (b) 방안과 비슷하나 한발짝 물러서는 방안이다. 역시 라카토슈의 글을 인용한다.

확실히 명제에는 참인 것, 희망이 없는 거짓인 것, 희망적인 거짓인 것의 세 가지 유형이 있습니다. 이 마지막 유형은 예외에 대하여 언급한 조건절을 첨부함으로써 참인 명제로 개선될 수 있습니다. 저는 결코 "공식에 타당성이 결정되지 않은 영역을 할당하지 않았습니다. 실제로 대부분의 공식은 어떤 조건이 만족될 때에만 참입니다. 그들 조건을 결정하고 물론, 사용하는 용어의 의미를 정확하게 고정함으로써, 저는 모든 불확실성을 소멸시킵니다." (원주-이는 Cauchy의 유명한 저서(1821)의 서문에서 인용한 것이다.) (앞의 책, 59쪽)

다시 말해, 추측에 '조건'을 계속 붙임으로써 안전하게 증명을 유지하는 방법이다. 예컨대 '삼각형의 세 내각의 합' 문제라면, "구면상의 삼각형이 아닌 삼각형에 한해,"라는 조건을 붙이는 방법에 해당하겠다. (b) 방안과의 차이점은 다음과 같다. (b)에서는 "구면상의" 삼각형은 아예 삼각형이 아니라고 생각하는 반면, (c)에서는 "구면상의" 삼각형도 존재할 수 있지만 그 녀석들에는 이 명제가 성립하지 않는다고 본다.

이번에는 (d) 방안을 살펴보자. (d) 방안은 "실제로 반례는 존재하지 않는다!"라고 주장하는 방안이다. 반례로 제시된 것도 곰곰히 뜯어보면 반례가 아닐 수 있다는 것이다. '삼각형의 세 내각의 합' 문제라면, 이렇게 말하는 경우에 해당할 수 있겠다. "구면상의 삼각형에 대해, 내각의 합이 휙 보기엔 180도를 넘는 것 같지만 실제로는 180도와 일치한다. 우리가 구면 위에 그려진 삼각형을 떼어내서 평면 위에 펼칠 수 있다면, 내각의 합은 180도가 될 것이다. 구면 위의 삼각형과 평면 위의 삼각형은 모든 점에 대해 일대일대응이 성립하므로 구면상에서도 삼각형의 세 내각의 합은 180도라고 볼 수 있다." (물론 이렇게 주장한다면, '각도'의 정의를 일반인들과 다르게 하는 것이다. 하지만 이렇게 해서도 반례를 해결할 수 있다는 점에 주목하자.)

마지막으로 살펴볼 (e) 방안은 보조 정리 합체법이다. 이 역시 증명 과정을 수정하여 반례를 '피하는' 방법으로 (c) 방안과 유사하다. 반례가 성립하지 않는 범위로 몸을 사리는 것이다. '삼각형의 세 내각의 합' 문제에서는 "평면상의 삼각형에 대해"와 같은 조건을 부가하는 경우를 생각할 수 있겠다. 지금 여기서 (c) 방안과의 차이점이 명확하게 드러난다. (c) 방안은 예외를 '도려내는' 것이고, (e) 방안은 예외가 성립하지 않는 영역으로 '추측'을 한정하는 것이다. 라카토슈는 다음과 같이 말하고 있다.

따라서 예외 배제법은 주요 추측의 영역과 결점이 있는 보조 정리의 영역 모두를 안전한 공통영역으로 제한시키고, 그렇게 함으로써 반례를 주된 추측과 증명 모두에 대한 비판으로 받아들이는 한편, 본인의 보조 정리 합체법은 증명은 지지하지만 주된 추측의 영역을 결점이 있는 보조 정리의 바로 그 영역으로 축소합니다. 곧 전면적이면서 국소적인 반례는 예외 배제자로 하여금 보조 정리와 원래의 추측 모두를 바꾸도록 하는 반면에, 그것은 본인으로 하여금 원래의 추측을 개선하게 하지만 보조 정리를 개선하게 하지는 않습니다. (앞의 책, 72쪽)

라카토슈는 이 방안을 "증명과 반박의 기본적인 변증법적인 통일"(앞의 책, 77쪽)을 보여주는 방안으로 여기고 있고, 수학적 발전을 이루는 기본적인 방법론으로 보고 있다.

자, 이제 맨 앞에서 제시했던 표를 다시 보자.

1) 원초적인 추측.
2) 증명.
3) 전면적인(global) 반례.
4) 증명의 재검토 및 추측의 개선.
5) 새로운 추측을 기준으로 다른 정리들의 검토.
6) 원래의 추측에서 나온 결론들 검토.
7) 반례가 새로운 예로 변형되면서 새로운 탐구 분야 확립.

지금 우리는 (e) 방안을 채택함으로써 4번 단계를 마쳤다. 그 이후로는 어떠한 일들이 일어나는가? 5번 단계에서는 이렇게 '덧대기'한 추측으로부터 인접한 다른 정리들은 어떤 영향을 받는지 살펴본다. 6번 단계에서는 '원초적인 추측'에 의해 증명되었던 다른 정리들을 살펴본다. 그러면서 그 과정에서 어떤 정리들은 새로 수정될 것이고 어떤 정리들은 남아있을 것이다. 만약 수정되는 정리들이 무진장 많다면 7번 단계로 넘어가 '새로운 탐구 분야'가 등장하게 될 것이다. 앞에서 예로 들었던 '삼각형의 세 내각의 합' 문제의 경우, 인접 정리들과 따름 정리들이 대폭 수정되면서 '비유클리드 기하학'이라는 새로운 탐구 분야를 낳게 될 것이다.