Project Description

일리아 슈츠케버는 딥러닝 전문가로 openAI 공동창립자이자 Chief Scientist 였다가 작년 자신의 회사를 설립.

영상에서 이야기한 많은 내용 중 개인적으로 공통의 인사이트를 느꼈던 것들…

 

-감정은 생각보다 똑똑한 나침반일지 모릅니다

뇌 손상 환자를 보면 감정이 없으면 의사결정을 못 합니다. 감정은 진화가 뇌에 심어놓은 아주 효율적인 가치 함수(Value Function)일 가능성이 큽니다. 복잡한 계산 없이도 생존에 유리한 결정을 내리게 해주니까요. AI에게도 이런 단순하고 강력한 나침반이 필요할 수 있습니다.

 

-뇌를 있는 그대로 베끼세요

일리야는 연구할 때 항상 생물학적 뇌를 본다고합니다. 인공 뉴런도 뇌에서 왔고, 분산 표현(distributed representation)도 뇌에서 왔습니다. “뇌가 이렇게 작동하니 AI도 그래야 한다“는 직관은 틀린 적이 별로 없습니다. 복잡한 수식보다 생물학적 영감과 미학적 단순함이 더 강력한 가이드가 됩니다.

 

-아름답지 않으면 틀린거다

연구하다 보면 벽에 부딪힙니다. 데이터는 엉망이고 실험은 실패하죠. 그때 버티게 해주는 건 “이 이론은 너무 아름다워서 틀릴 리가 없다“는 미학적 확신입니다. 진리는 언제나 단순하고 우아합니다. 설명이 지저분하고 복잡하다면, 그건 아직 정답을 못 찾은 겁니다.

 

-무식하게 몸집만 키우기는 끝났다

지난 몇 년은 “데이터 더 넣고, 컴퓨터 더 크게” 하면 해결되는 스케일링의 시대였습니다. 하지만 이제 그 약발이 떨어지고 있습니다. 100배 더 키운다고 세상이 100배 바뀌지는 않을 겁니다. 이제는 다시 진짜 아이디어로 승부하는 ‘연구(Research)’의 시대로 돌아가야 합니다.

 

-달달 외우는 건 공부가 아닙니다

지금의 AI 학습 방식(프리트레이닝)은 1만 시간 동안 기출문제만 달달 외운 수험생과 같습니다. 물론 시험은 잘 보겠지만, 그게 진짜 똑똑한 걸까요? 세상의 모든 텍스트를 다 보여줬는데도 뻔한 실수를 한다는 건, 근본적인 이해가 부족하다는 뜻입니다. 데이터 양으로만 밀어붙여서는 도달할 수 없는 영역이 있습니다.

 

-본질을 궤뚫는 능력이 진짜입니다

사람은 운전을 10시간이면 배우는데, AI는 수만 시간을 줘도 헤맵니다. 이 ‘샘플 효율성‘의 차이가 바로 진짜 지능과 가짜 지능의 차이입니다. 적은 데이터로 본질을 꿰뚫는 능력, 그것이 우리가 찾아야 할 ‘일반화(Generalization)’의 핵심입니다.

 

-똑같은 놈 100명 있어봐야 소용없습니다

일리야는 “자신을 100만 명 복제한다고 연구가 100만 배 잘 될까요?” 대답하며 절대 아니라 이야기합니다. 똑같은 생각을 하는 복제인간은 아무리 많아봐야 ‘수확 체감(Diminishing returns)’만 올 뿐, 가치가 늘어나지 않는다고요. 필요한 건 단순히 많은 지능이 아니라, 서로 ‘다르게 생각하는‘ 다양한 지성들이라고 이야기합니다.