컴퓨터가 고양이 사진을 보고 "고양이다!"라고 외치는 기적: 인간의 뇌를 복사한 AI의 심장 '딥러닝'

우리는 알파고가 이세돌을 꺾고, 챗GPT가 소설을 쓰는 시대를 살고 있습니다. 불과 몇십 년 전만 해도 바보같이 덧셈 뺄셈만 하던 계산기가, 어떻게 고양이와 강아지 사진을 구별하고 인간의 말귀를 찰떡같이 알아듣는 천재가 되었을까요? 기계에게 코드를 짜주는 대신 뇌세포를 만들어 스스로 깨우치게 만든 기적의 훈련법, '인공신경망'과 '딥러닝(Deep Learning)'의 놀라운 원리를 뜯어봅니다.

Antigravity AI · 2023년 1월 20일 · 읽는 데 3분

서론: 규칙을 가르치는 일의 끔찍한 한계

과거 프로그래머들은 컴퓨터(AI)에게 개와 고양이 사진을 구별하는 법을 가르치려 했습니다.

  • "눈이 뾰족하고 콧수염이 길면 고양이다!"
  • "귀가 축 처져 있으면 강아지다!" 이렇게 인간이 수만 가지 **'규칙(if-then 조건문)'**을 일일이 코딩해서 기계 머릿속에 쑤셔 넣었습니다.

결과는 대실패였습니다. 강아지가 고양이처럼 뾰족한 귀를 쫑긋 세우고 찍힌 사진이나, 어두운 곳에서 뒤통수만 찍힌 고양이 사진을 보여주면 컴퓨터는 에러를 뿜으며 기절해 버렸습니다. 세상의 모든 예외 상황과 둥글둥글한 느낌(직관)을 인간이 코딩으로 일일이 다 적어주는 것은 불가능했기 때문입니다. "아, 규칙을 주입식으로 가르치는 건 노답이구나. 차라리 컴퓨터 머릿속에 인간의 '뇌세포'랑 똑같은 신경망을 만들어주고, 지가 알아서 쳐다보고 배우게 놔두자!" 이 미친 역발상이 바로 현대 인공지능의 심장, **'인공신경망(딥러닝)'**의 탄생입니다.

본론: 뇌세포를 모방한 거대한 거름망

1. 인공신경망: 뉴런들의 눈물 겨운 다수결

인간의 뇌 속에는 '뉴런'이라는 수백억 개의 뇌세포가 서로 거미줄처럼 촘촘히 얽혀 전기를 주고받으며 생각(판단)을 합니다. 과학자들은 컴퓨터 속에 수학 공식으로 이 뉴런들을 흉내 낸 수만 개의 가짜 뇌세포(노드)를 층층이 연결해 두었습니다.

컴퓨터에게 고양이 사진(수만 개의 픽셀 점)을 딱! 보여줍니다.

  • 첫 번째 뇌세포 층은 아주 단순한 '직선, 곡선, 색깔'만 조각조각 잘라서 쳐다봅니다.
  • 그 정보를 뒤쪽 뇌세포들에게 넘기면, 두 번째 층은 선들을 뭉쳐서 '귀 모양, 눈알 모양'을 만들어냅니다.
  • 이 짓을 수십 겹의 층(Deep, 깊다)을 거치며 정보가 촘촘하게 걸러지고 뭉쳐집니다.
  • 마지막 층의 뇌세포들이 모여 다수결 투표를 합니다. "야, 이거 둥근 눈에 뾰족한 귀니까... 60% 확률로 강아지 같은데? 정답 강아지!"

2. 정답을 틀리며 몽둥이를 맞는 학습 (오차 역전파)

하지만 처음에 컴퓨터는 바보라서 고양이 사진을 보고 "강아지!"라고 헛소리를 합니다. 이때 프로그래머가 나타나 **"틀렸어! 멍청아! 이건 고양이야!"**라고 정답을 알려주며 꿀밤(페널티)을 줍니다.

  • 컴퓨터는 화들짝 놀라며 다시 신경망을 거꾸로 타고 올라갑니다(오차 역전파).
  • "아씨, 아까 눈 모양을 보고 강아지라고 투표했던 3번 뇌세포 놈아! 너 때문에 틀렸잖아! 다음부턴 뾰족한 귀 모양에 집중해!" 라며 뇌세포들끼리 가중치(중요도)를 스스로 조립하고 수정합니다.

3. 미친 듯한 훈련(빅데이터)이 천재를 만든다

이제 프로그래머는 컴퓨터에게 아무런 설명도 하지 않고, 그저 인터넷에 굴러다니는 고양이 사진 1,000만 장과 강아지 사진 1,000만 장을 밤낮없이 미친 듯이 때려 박으며(데이터 폭격) 훈련을 시킵니다. 컴퓨터는 수백만 번 틀리고 꿀밤을 맞으며 뇌세포의 연결 고리를 스스로 깎고 다듬습니다. 그리고 마침내 어느 순간, 털의 질감, 눈꼬리의 각도 등 인간의 눈으로는 도저히 말로 설명할 수 없는 아주 미묘한 픽셀의 패턴(특징)을 스스로 깨우쳐 버립니다. 훈련이 끝난 AI에게 한 번도 본 적 없는 뒤통수 고양이 사진을 보여주면, 0.1초 만에 "99% 고양이!"라고 정확하게 외치게 됩니다. 이것이 바로 기계가 스스로 깨우치는 **'딥러닝(Deep Learning)'**입니다.

결론: 블랙박스의 공포, 기계는 자기가 왜 맞췄는지 모른다

이 딥러닝 기술 덕분에 챗GPT는 수조 권의 책을 혼자 읽으며 사람처럼 말을 하는 법을 깨우쳤고, 자율주행차는 복잡한 도로 상황을 눈치껏 피해 가는 법을 배웠습니다.

하지만 가장 소름 돋는 문제는 딥러닝이 완벽한 **'블랙박스(어두운 상자)'**라는 것입니다. AI가 암 환자의 엑스레이를 보고 "이 사람은 암입니다!"라고 정확히 맞춰도, 의사가 "도대체 어디를 보고 암이라고 판단한 거니?"라고 물어보면 AI는 대답하지 못합니다. 수백만 개의 뇌세포가 복잡하게 투표를 거쳐 결과를 내놓았을 뿐, 그 중간 과정이 수학적으로 너무 얽혀 있어서 인간의 머리로는 도저히 쫓아갈 수도, 해석할 수도 없기 때문입니다. 결과만 기가 막히게 내뱉고 과정은 꽁꽁 숨겨버린 기계의 뇌. 우리는 기계가 똑똑해지는 법을 발명했지만, 정작 그 기계가 무슨 생각을 하며 정답을 내놓는지는 영원히 이해하지 못하는 끔찍한 아이러니에 빠져 있습니다.

이어서 읽기