리치 서튼의 “쓴 교훈(The Bitter Lesson)” 요약
리치 서튼(Rich Sutton)이 2019년에 발표한 이 에세이는 AI 연구 70년의 역사를 바탕으로 한 핵심 교훈을 다룬다. 주요 논지: AI 개발에서 인간 지식이나 도메인 전문성을 시스템에 주입하는 접근은 단기적으로 효과적일 수 있지만, 장기적으로는 계산 능력(무어의 법칙에 따른 컴퓨팅 파워 증가)을 활용한 일반적 방법(검색과 학습)이 훨씬 우월하다. 인간 중심의 “지능"을 모방하려는 시도는 연구를 복잡하게 만들고 진척을 막지만, 컴퓨팅 스케일링에 의존하는 방법은 세계의 복잡성을 스스로 발견하며 지속적으로 발전한다.
역사적 사례
- 체스: 1997년 딥 블루가 가리 카스파로프를 이긴 것은 깊이 있는 검색과 대규모 계산에 기반했으며, 인간 전략 모방(지식 기반) 접근을 압도했다.
- 바둑: 초기에는 인간 이해(게임 구조)를 활용해 검색을 피하려 했으나, 알파고(AlphaGo)의 자가 학습과 검색 결합이 성공을 가져왔다.
- 음성 인식: 1970년대 DARPA 대회에서 통계 모델(은닉 마르코프 모델)이 규칙 기반 인간 지식 접근을 이겼고, 이는 딥러닝으로 이어졌다.
- 컴퓨터 비전: 인간이 정의한 특징(엣지, SIFT) 대신 컨볼루션과 불변성 학습을 활용한 딥러닝이 우수한 성능을 발휘했다.
쓴 교훈(Bitter Lesson)
인간의 인지나 도메인 지식을 AI에 강제 주입하면 초기 성과는 있지만, 결국 한계에 부딪힌다. 대신 검색(search)과 학습(learning) 같은 메타-방법이 컴퓨팅 증가에 따라 패턴을 자동 발견하며, 인간의 편견 없이 세계를 탐구한다. 인간 마음의 복잡성조차 완벽히 규칙화할 수 없으므로, AI는 컴퓨팅을 통해 근사치를 추구해야 한다.
미래 연구 조언
- 도메인별 인간 지식 대신, 컴퓨팅 스케일링 가능한 일반 방법에 집중하라.
- 인간-like 추론을 내장하려는 심리적 유혹을 피하라 – 이는 시스템을 복잡하게 하고 연구 자원을 낭비한다.
- AI는 인간 발견 과정처럼 자율적으로 솔루션을 찾아가도록 설계하라.
결론적으로, 서튼은 컴퓨팅 주도 접근의 변혁적 힘을 강조하며, 인간 중심 편향을 버리고 세계의 복잡성을 포용할 것을 촉구한다. 이는 AI가 무한한 잠재력을 발휘하는 길로 인도할 “쓴” 하지만 필수적인 교훈이다.
