알파고는 어떻게 바둑 천재를 박살 냈을까? 뇌세포를 복사해 만든 기계의 뇌, '딥러닝'

서론: 고양이를 고양이라고 부르지 못하던 컴퓨터

2010년 이전의 멍청한 컴퓨터에게 고양이 사진을 보여주고 "이게 뭐야?"라고 물으면 컴퓨터는 대답하지 못했습니다. 과학자들이 컴퓨터에게 고양이를 알려주려면 규칙을 일일이 타이핑해야 했습니다. "귀가 세모 모양이고, 수염이 나 있고, 꼬리가 길면 고양이야!" 그런데 꼬리가 잘린 고양이나, 귀가 접힌 스코티시 폴드 고양이 사진을 보여주면 컴퓨터는 규칙과 다르다며 에러를 뿜어냈습니다. 인간 세상의 복잡함을 '규칙(코딩)'만으로는 절대 가르칠 수 없었던 것입니다.

그런데 과학자들이 발상을 완전히 뒤집었습니다. "야, 규칙을 가르쳐주지 말고, 마치 어린아이가 세상을 배우듯 무식하게 100만 장의 고양이 사진을 쏟아부어 주고 기계 스스로 눈치를 채게(학습하게) 만들면 어떨까?" 이 미친 아이디어가 바로 오늘날 챗GPT와 알파고를 만들어낸 **'딥러닝(Deep Learning)'**의 시작입니다.

본론: 인간의 뇌세포(뉴런)를 흉내 낸 기계의 뇌

딥러닝은 단어 뜻 그대로 '깊게(Deep) 배운다(Learning)'는 뜻입니다. 이 학습법은 인간의 뇌세포 구조를 그대로 베껴서 만들었습니다.

1. 인공 신경망: 기계의 뇌세포

우리 뇌 속에는 '뉴런'이라는 뇌세포 수백억 개가 촘촘한 거미줄처럼 연결되어 신호를 주고받으며 생각을 만듭니다. 과학자들은 컴퓨터 속에 이 뇌세포 역할을 하는 가짜 뉴런(수학 함수)들을 수만 겹의 층(Layer)으로 깊게(Deep) 겹겹이 쌓아 올렸습니다. 이것을 **'인공 신경망'**이라고 부릅니다.

2. 무식한 학습법: 정답을 맞힐 때까지 쥐어 패기

이 인공 신경망에 고양이 사진 1장을 던져줍니다.

• 첫 번째 뇌세포 층은 "음.. 뾰족한 선이 있군."
• 두 번째 뇌세포 층은 "음.. 둥근 털 뭉치가 있군."
• 마지막 층이 결론을 내립니다. "이건 강아지야!"

컴퓨터가 틀렸습니다. 이때 과학자들은 규칙을 수정하는 대신, 몽둥이질(수학적 오차 수정)을 합니다. "틀렸어! 넌 고양이 사진을 보고 강아지라고 했어. 네 뇌세포(가중치)들의 연결고리 숫자를 조금씩 바꿔!"

컴퓨터는 뇌세포 연결을 조금 바꾸고 다시 찍습니다. "사자?" "틀렸어! 다시 바꿔!" 이렇게 무려 수천만 장의 고양이 사진을 보여주며 기계가 엉덩이에 땀이 나도록 수십억 번의 오답 노트를 쓰게 만듭니다. 이 무식한 반복 훈련 끝에 기계는 스스로 고양이만의 '진짜 특징(패턴)'을 귀신같이 깨우치게 됩니다.

3. 알파고의 충격: 인간을 뛰어넘은 직관

이 딥러닝 기술이 가장 빛을 발한 것이 바로 '바둑'입니다. 바둑의 경우의 수는 우주의 원자 수보다 많아서 슈퍼컴퓨터로 수만 년을 계산해도 규칙을 다 풀 수 없습니다. 그래서 구글은 알파고에게 규칙을 가르치는 대신, 알파고 혼자 스스로 복제본을 만들어 하루에 300만 판씩 멱살 잡고 싸우게(강화 학습) 만들었습니다. 수억 판의 대국을 통해 알파고는 바둑의 '패턴(눈치, 직관)'을 깨우쳤고, 2016년 이세돌 9단을 상대로 인간은 상상도 못 한 기괴한 묘수(37수)를 두며 압승을 거두었습니다.

결론: 똑똑해진 노예인가, 새로운 지배자인가

딥러닝을 깨우친 인공지능은 이제 눈(이미지 인식), 귀(음성 인식), 입(자연어 챗GPT)을 모두 얻었습니다. 엑스레이 사진을 1초 만에 분석해 의사보다 정확하게 암세포를 찾아내고, 베토벤풍의 교향곡을 작곡하며, 인간의 코드를 대신 짜주는 경지에 이르렀습니다.

하지만 딥러닝에는 치명적인 단점이 있습니다. 기계가 수억 번의 학습을 통해 정답을 맞히긴 하는데, 정작 기계 스스로가 '왜' 이게 정답인지 설명하지 못하는 '블랙박스' 상태라는 것입니다. 우리는 지금 우리보다 똑똑하지만, 무슨 생각을 하는지 알 수 없는 기계와 함께 살아가기 시작했습니다. 이 블랙박스 속 기계의 뇌가 인간을 돕는 완벽한 조력자가 될지, 인간의 통제를 벗어난 두려운 지배자가 될지는 앞으로 우리의 손에 달려있습니다.