여백이 부족해 남기지 못한 350년의 저주: 페르마의 마지막 정리

서론: 책 여백에 남겨진 악마의 메모

1637년경, 프랑스의 툴루즈 지방에서 판사로 일하던 '아마추어 수학자' 피에르 드 페르마(Pierre de Fermat)는 고대 그리스의 수학책 «산술(Arithmetica)»을 읽다가 책의 귀퉁이 여백에 라틴어로 무심코 이런 메모를 적어 넣었습니다.

"Xⁿ + Yⁿ = Zⁿ (n이 3 이상의 정수일 때), 이 방정식을 만족하는 0이 아닌 정수 해 X, Y, Z는 존재하지 않는다. 나는 이 명제에 대한 진정으로 놀라운 증명 방법을 발견했으나, 책의 여백이 너무 좁아 여기에 적지 않겠다."

피타고라스의 정리(X² + Y² = Z²)와 똑같이 생겼지만 지수가 3 이상으로 바뀐 이 묘하고 단순한 문장은, 수학 역사상 가장 끔찍하고 잔혹한 저주가 되어 무려 350년 동안 전 세계 수학자들의 인생을 갉아먹는 '페르마의 마지막 정리(Fermat's Last Theorem, FLT)'로 남게 됩니다.

본론: 350년간의 절망과 수학적 진보

1. 단순함 속에 숨겨진 무한의 공포

이 문제가 수학자들을 미치게 만든 이유는 문제 자체가 초등학생도 이해할 수 있을 만큼 지나치게 단순하고 아름다웠기 때문입니다. n이 3일 때, 4일 때, 5일 때 숫자를 대입해 보면 정답(해)이 정말로 나오지 않습니다. 하지만 수학에서 '몇 개 넣어보니 안 되더라'는 증명이 아닙니다. n이 무한대(∞)로 커지는 '모든 정수'에 대해 해가 존재하지 않음을 단 하나의 완벽한 논리(증명)로 포섭해야만 했습니다.

레온하르트 오일러(n=3 증명), 소피 제르맹(n=5 증명) 등 당대의 내로라하는 천재 수학자들이 일생을 바쳐 도전했지만, 특정 숫자의 한계를 넘지 못하고 껍데기만 긁적일 뿐이었습니다. 19세기에 10만 마르크(수십억 원)의 엄청난 현상금까지 걸리면서 수천 건의 사이비 증명이 쏟아졌으나 모두 오류로 판명 났습니다.

2. 전혀 다른 세계를 연결하다: 타니야마-시무라 추론

300년 넘게 철옹성 같던 페르마의 벽에 균열이 가기 시작한 것은 20세기 후반, 일본의 두 젊은 수학자 타니야마와 시무라가 제안한 놀라운 가설 덕분이었습니다. 그들은 **"모든 타원 곡선은 모듈러 형태(완전히 다른 기하학적 대칭 구조)와 DNA가 완벽하게 똑같다"**라는 기괴한 가설을 발표했습니다. 그리고 1986년, 켄 리벳이라는 수학자가 "만약 페르마의 마지막 정리가 거짓이라면(해가 존재한다면), 타니야마-시무라 가설도 박살난다"는 사실을 증명해 냅니다. 즉, 누구도 풀지 못했던 17세기의 정수론(페르마의 정리)이, 20세기의 복잡한 기하학(타원 곡선) 문제로 완벽하게 치환되는 순간이었습니다.

3. 앤드루 와일즈의 7년 은둔과 영광의 증명

어린 시절부터 페르마의 정리를 푸는 것이 꿈이었던 영국 출신의 프린스턴 대학교 교수 **앤드루 와일즈(Andrew Wiles)**는 이 소식을 듣고 전율합니다. 그는 모든 학술 활동을 중단하고 다락방에 처박혀 무려 **7년 동안 홀로 비밀리에 연구(은둔)**에 매진합니다.

1993년 6월, 케임브리지 대학의 학회장. 와일즈는 3일에 걸친 칠판 강연 끝에 타니야마-시무라 가설을 증명해 냈고, 백묵을 내려놓으며 조용히 속삭였습니다. "이것으로 페르마의 마지막 정리가 증명되었습니다. 여기서 마치겠습니다." 학회장은 박수갈채와 환호로 터져 나갔고 이 소식은 뉴욕타임스 1면을 장식했습니다. 직후 논문 심사 과정에서 심각한 오류가 발견되어 와일즈는 깊은 절망에 빠지기도 했으나, 1년 뒤 극적으로 오류를 수정하며 1995년 최종적으로 130쪽 분량의 완벽한 증명 논문을 수학 연보에 게재하며 350년의 저주를 완전히 끝장내버렸습니다.

결론: 페르마는 정말로 풀었을까?

수학 역사가들은 페르마가 책의 여백이 좁아 적지 못했다는 그 '놀라운 증명'은 십중팔구 **페르마의 착각(오류)**이었을 것이라고 확신합니다. 왜냐하면 와일즈가 증명에 사용한 타원 곡선이나 군론(Group Theory) 같은 고도의 현대 수학 개념들은 17세기 페르마 시대에는 아예 존재하지도 않았던 개념이기 때문입니다.

하지만 페르마의 그 얄미운 허세 섞인 메모 하나는 350년 동안 천재 수학자들을 절망과 환희로 몰아넣으며, 정수론과 현대 기하학을 비약적으로 발전시키는 거대한 원동력이 되었습니다. 한 아마추어 수학자의 작은 장난이 인류의 지성을 극한으로 끌어올린, 수학 역사상 가장 로맨틱하고 위대한 미스터리가 막을 내린 셈입니다.