LSTM(딥러닝)의 창시자 Schmidhuber의 인터뷰 (상)

(원문) "Juergen Schmidhuber's answers from the Reddit AMA" by FastML 

딥러닝의 큰 축 중 하나는 바로 Time series data (또는 Sequence data)에 적합한 Deep Nerual Network인 Recurrent Neural Network (RNN)과 이것의 부흥을 일으킨 Long-term Short-term Memory (LSTM) 입니다. 세상에는 정적인 데이터도 많지만 사실 시간에 따라 변하는 동적인 데이터도 많습니다. 예를 들어 음성인식의 경우 "안녕하(  )요"라는 말을 들으면 우린 ( ) 안의 말이 "세"일 것이란 예측을 할 수 있는데, 이는 앞뒤 "문맥"을 통해 추론에 가능하기 때문이지요. 이렇듯 동적 데이터는 단지 그 순간만 볼 것이 아니라 연속된 데이터 속의 관계를 보아야 하는데요, 이를 추론하는 구조의 네트워크가 바로 RNN 입니다.

매 순간의 데이터를 길게 늘어놓은 RNN은 vanishing gradient 문제 등으로 그동안 외면받아왔지만 10여년 전부터 LSTM이라는 관문 유닛(gate unit)을 도입하면서 부터 큰 부흥이 일기 시작했는데요, 이 LSTM의 창시자가 바로 오늘 소개해드릴 Schmidhuber 교수님입니다. 딥러닝에 대해 학자 다섯 명을 꼽으면 꼭 들어갈 분이지요.

스위스 인공지능 연구소의 Schmidhuber 교수. 외국 교수들은 심지어 잘생기기까지 했다..

최근 포털사이트 Reddit에서는 Schmidhuber 교수에 대해 공개 Q&A 형식으로 인터뷰를 진행했는데요, 그 인터뷰 내용이 흥미로와 그 중 일부를 번역해 공유합니다. (생략도 있고 의역도 있으니 꼼꼼히 읽으실 분들은 원문을 참고해주세요)

Q: 딴 사람들은 자기들의 코드를 다 공개하더라. 근데 당신은 왜 잘 공개를 안하는가? 당신의 연구결과는 뛰어난데 코드가 공개가 되어있지 않아 후속 연구가 힘들다. 

아니다. 우리도 오픈 소스로 많이 공개했다. 우리는 이미 PyBrain이란 기계학습 라이브러리를 공개했고 많은 사람들이 이용하고 있다. 또한 RNN으로 기계학습 대회에서 우승(2009)하였던 Alex Graves의 RNNLIB 코드 역시 공개되어 있다.

하지만 우리가 바로 코드를 공개하지 않는 것은 사실이다. 왜냐하면 많은 프로젝트가 산겅ㅂ계와 연결되어 있어 공개가 어렵기 때문이다. 하지만 우리는 여전히 오픈소스 운동을 환영하고 있고, 앞으로도 더욱 많은 RNN 코드를 공개할 예정이다. 물론 PyBrain의 다음 버전도 계속 출시해 나갈 예정이다. (박사과정생들이 그 일을 진행하고 있다.)

Q: 좋은 박사학생의 조건은 무엇인가?
좋은 박사학생은 우선 똑똑할 뿐만 아니라 매우 끈질기다. 그들은 도전적인 문제에 달려드는 동안 끝까지 파고들었다고 실패하고 되돌아오는 것을 반복한다. 하지만 절대 포기하지않고, 결국 작은 통찰을 발견해내며 그 통찰로 거대한 문제를 통째로 바꿔버린다. 그리고 그런 것들이 하나씩 논문으로 이어져 결국 좋은 박사논문을 완성하게 되는 것이다.

Q: 미국식 박사과정(5년제)과 유럽식 박사과정(3년제)에 대해 어떻게 생각하는가?
유럽은 PhD 학생을 더이상 수업을 듣지 않아도 되는 성숙한 연구자로 생각한다. 이러한 가정은 그 학생을 매우 자기동기부여가 강한 학생(self-driven persons)으로 만들어 준다. 나의 경우 나의 지도교수는 나에게 완전한 자유를 주었다. 난 그게 좋았지만 지금은 약간 옛날 방식으로 취급받는 듯 하다. 난 "아인슈타인 모델"이 좋다. 그는 대학원에 가지 않았지만 특허청에서 일하며 좋은 논문을 냈다. 내가 원하는게 이거다. (답변이 질문에 적합하지 않은 것 같아 미안하다 ㅎㅎ)

RNN은 각 순간별 NN을 펼쳐놓아 deep network를 구성한 것이다. (사진출처)

Q: 어떤 학회를 선호하나? arXiv에 대한 생각은?
나 역시 ICLR학회에서 진행하는 공개 논문 리뷰나, 또는 arXiv에 논문을 공개하는 방법들을 좋아한다. 요즘 매우 흥미로운 논문들은 학회에 제출됨과 동시에 Tech Reports의 형태로 arXiv로 먼저 올라오곤 한다 (동료검토 없이 말이다.) 매우 좋은 논문들도 많아 즐겁다.

하지만 한가지 문제는 그 중에 말이 안되는 논문도 섞여있다는 것이다. 그리고 이런 자극적인 논문들은 종종 황색언론이 말도 안되는 논문을 검증없이 더욱 확산시키곤 한다. 따라서 여전히 전통적인 저널 (Neural computation, Neural network, IEEE Transaction on NN, Journal of Machine Learning Research 등등)이나 일류급 학회(NIPS, ICML 등)를 더 선호하는 사람들도 많다. (최근엔 IJCNN도 좋은 논문들이 많다.)

Q: 왜 당신과 같은 Recurrent NN 그룹은 Convolutional NN 그룹처럼 협력하지 않는가? Hinton, LeCun, Bengio 등은 항상 서로 협력하는데 말이다.
단지 거리상의 문제인 것 같다. 그 쪽은 미국과 캐나다의 경계에 옹기종기 모여 CIFAR 펀드를 받으며 좋은 연구를 하고 있지만 이 곳(스위스)은 많은 EU프로젝트가 진행되고 있는뮌헨과만 해도 6000km나 떨어져 있다. 또한 나는 NIPS와 같은 학회에서 NN이 중심이 되지 않을 때면 (예를 들어 kernel method만 넘쳐난다던가..) 미주까지 학회에 참석하지 않는다. 이것이 아마 협력이 활발하지 않게 보이는 이유인 것 같다.

하지만 우리 쪽도 활발한 협력이 일어나고 있다. 일례로 많은 학생들이 구글에 인수된 DeepMind에 참여했었으며, 음성인식에 좋은 성과를 내고 있는 Alex Graves 역시 Hinton과 함께, 이전 박사학생이었던 Tom Schaul은 LeCun과 함께 연구를 같이 했었다. Bengio와는 RNN의 vanishing gradient problem과 관련하여 비슷한 논문을 2001년에 많이 냈었다. 결론은 우리는 여전히 많는 RNN-CNN 협력관계를 갖고 있다는 것이다.\

Q: 첫 시작으로 참고하기 좋은 자료들은? 당신이 흥미롭게 읽은 논문들은?
내가 추천하는 '매우 주관적인' 추천 도서 목록은 다음의 링크에서 확인할 수 있다. (다른 랩은 아마 다른 도서들을 추천할 것이다.)
작년 우리는 RNN, LSTM과 관련하여 큰 발전을 이룰 수 있었다. 이를 통해 이 방법들은 음성인식과 다른 sequence learning domain에서 뛰어난 성능들을 보여줬다.

주관적인 선호로는 앞으로 Compressed Network Search가 매우 흥미로울 것 같다. 그리고 참고로 곧 RNN 책이 출판될테니 조금만 더 기다려 달라.

(하) 편에 계속...

* T-Robotics의 글은 facebook과 RSS로도 받아보실 수 있습니다.
[facebook] https://www.facebook.com/TRobotics
[RSS] http://t-robotics.blogspot.kr/feeds/posts/default