딥 러닝은 이제는 더이상 거부할 수 없는 큰 흐름이 된 듯 합니다. 세계 최대의 기계학습 학회 중 하나인 ICML2015 (International Conference on Machine Learning)에서는 딥러닝 대가들의 주최로 워크샵이 있었는데요, 보통 워크샵이라 하면 정규 학회 내에서 소규모로 벌어지는 행사로 취급되는데 반해 이번 행사는 또다른 거대 학회를 방불케 했다고 하네요.
이번 모임의 주최자 중 한 분이신 뉴욕대학(NYU)의 조경현 교수님께서 패널토의의 요약을 남겨주셔서 요약을 대충대충(?) 한글로 번역해 남겨봅니다.
먼저 벤지오는 딥러닝이 지난 1년 자연어처리 (Natural Language Process)에 있어 많은 발전을 가져왔음에도 불구하고 아직 혁명을 이끌어내지는 못했다고 말하며, 자연어처리가 딥러닝의 다음 목표가 될 것임을 시사했다. 또한 벤지오는 unsupervised learning에 대한 연구가 더 이루어져야 한다고 강조했으며, 이는 러쿤, 하나비스, 슈미드후버 역시 마찬가지의 의견이었다.
재밌게도 패널 6명 중 4명 (러쿤, 하사비스, 러렌스, 머피)는 모두 헬스케어에서 큰 혁명이 불 것임을 시사했다. 러쿤은 의학영상 분석을, 하사비스는 제약을 관심분야로 꼽았는데, 러렌스가 같은 날 발표했던 DeepHealth 역시 이와 무관하지 않을 것이다.
러쿤과 하사비스는 자동 Q&A 시스템과 자연어 생성 시스템을 차세대 연구과제로 꼽았으며, 슈미드후버와 하사비스는 순차적 의사결정을 중요 미래 연구과제로 꼽았다. 슈미드후버는 원숭이가 바나나를 따기 위해 순차적 목적(예를 들면 나무로 다가가 나무를 기어오르고, 과일을 잡고 등등)을 세우고 행동하는 것처럼 미래의 딥러닝 역시 이러한 순차적 의사결정이 가능해야한다고 말했다. 그리고 그는 동물정도의 지능은 10년 안에 완성할 수 있지 않을까 내다보았다.
러렌스와 머피는 딥러닝을 인간이 해결할 수 없는 문제(non-cognitive tasks)를 해결하는데 사용하는 것에 관심을 보였다. 지금까지 딥러닝은 인간이 쉽게 할 수 있는 일을 따라잡는데 목적을 두었지만 앞으로는 인간이 할 수 없었던 일까지 하는 영역에 도달해야할 것이라고 주장했다. 계층적 계획, 지슥 습득, 인간의 인식 능력을 넘어선 성능은 앞으로 자동화된 연구실을 탄생시킬 것이며, 이는 세상의 데이터를 스스로 습득해 이에 대한 통찰을 알려주는 머신으로까지 발전할 것이라며 머피와 슈미드 후버는 말했다.
산업계와 학계의 격차에 대하여
러쿤은 앞으로 기업 연구소와 대학의 연구실의 차이가 점점 줄어들 것이라고 말했다. (이에 대해 조경현 교수는 이보다 비관적 생각을 갖고 있다고 주를 달았다.) 러쿤은 본인이 몸담고 있는 페이스북 인공지능 연구소(FAIR)의 오픈 사이언스에 대한 노력에 대해 설명했는데, 그들은 이런 오픈 사이언스가 인류의 과학 발전과 인재 모집, 타사와의 경쟁에서도 도움을 줄 것이라 믿고 있었다. 이와 관련해 구글 딥마인드(하사비스)와 페이스북 인공지능 연구소(러쿤)는 Torch를 기반으로 한 연구 소프트웨어들을 앞으로 공유할 것이라고 밝혔다. (이에 대해 조경현 교수는 이것이 두 회사의 연구 속도는 높일 것이나, 전세계 연구자들이 동일한 코드로 연구를 하는 것이 대학에 바람직한지는 의문이라고 밝혔다.)
하사비스와 러렌스, 머피, 벤지오는 기업이 활용할 수 있는 대규모의 데이터는 아직 대학에 큰 문제가 아닐 것이라고 내다봤다. 왜냐하면 기업이 아직 그 데이터를 충분히 활용하고 있지 못하고, 따라서 대학에도 충분한 연구 기회가 돌아올 것이라고 내다봤다. 머피는 학계의 데이터 부족이 오히려 벤지오와 하사비스가 강조했던 알고리즘의 혁신을 가져올 수도 있으며, 게임과 같은 곳에서 데이터를 생성하는 것도 이용될 수 있을 것이라 말했다.
슈미드후버는 독특한 의견을 냈는데, 미래 AI를 위한 코드는 학생들이 짤 수 있을 정도로 매우 단순해질 것이며, 따라서 기업이 AI 연구를 독점하는 것을 걱정할 필요 없을 것이라고 예측했다.
과대포장된 딥러닝과 딥러닝 암흑기의 가능성
러쿤은 그거 여러 인터뷰에서 밝혔듯, 과대포장된 딥러닝의 가능성에 대한 위험을 경고했다. 펀딩이 필요해 환영에 빠진 학자들, 돈이 필요한 벤쳐기업가들, 프로그램으로 펀드를 매지닝하는 사람들, 그릇된 저널리즘이 딥러닝의 과대포장에 앞장서고 있으며 이러한 망상적 기사를 막기 위해선 기사 작성 전에 연구자의 체크를 받는 것이 좋을 것이라 충고했다.
이러한 과장의 폐해를 막고 연구의 가속을 위해서 러쿤과 벤지오는 연구성과의 온라인 공유를 통해 사람들이 상위부터 하위까지 모든 정보를 볼 수 있게 하는 것이 좋을 것이며, 머피는 더 나아가 오픈 소스를 통해 사람들이 연구결과들의 약점과 한계들을 쉽게 접할 수 있도록 해야한다고 말했다. (물론 저자도 자신의 연구의 한계점에 대해 분명히 밝혀야 할 것이다.) 러렌스는 만약 기자들이 정확한 정보를 전달할 수 없다면 연구자들이 직접 그 일을 수행해야할 것이라 말했으며, 그 좋은 예로 "Talking Machines" 팟캐스트를 예로 들었다. 하사비스 역시 과장은 매우 위험하다는 것에 동의하며, 우리는 인공지능/인공신경망의 암흑기가 왜 왔었고, 미래에 지나친 장미빛을 그리는 것이 위험하다는 것을 더 잘 알고 있기 때문에 딥러닝의 암흑기는 다시 찾아오지 않을 것이라 믿었다.
슈미드후버는 이와 더불어 이제는 하드웨어의 혁신이 필요한 때가 아닐까라는 주장을 펼쳤다. 컴퓨터는 더욱 딥러닝에 맞게끔 변신해야하며 따라서 하드웨어 기술 발전이 상응해야 딥러닝 역시 발전해야할 것이라 믿었다. 특히 그는 Recurrent Neural Network (RNN)이 미래 인공지능 구조에 중요한 역할을 할 것이라 믿으며 이에 맞는 하드웨어의 개발 필요성을 강조했다.
ICML2015에서 열린 딥러닝 워크샵의 모습. 여느 학회의 기조연설장을 방불케 한다. (사진: N. Lawrence)
인공지능의 위협, 그리고 특이점
구글 딥마인드의 하사비스는 엘론머스크 등이 제기한 인공지능의 위협 논란의 중심에 있는 인물이다. 하사비스는 이러한 얘기들이 자신의 생각에도 경종을 울렸다고 하며, 하지만 대비는 하되 큰 걱정보다는 좋은 미래일 것이라고 내다봤다. 하사비스는 인공지능의 위협 말고도 현재 세계에는 훨씬 당면한 문제들이 많으며 (e.g. 기후변화, 사회 불평등) 언론에 의해 흥미거리로 많이 팔렸을 뿐이라고 말한다. 오히려 이보다 더 큰 문제는 디지털 집권화와 데이터 불평등이라고 말했다. (참고: The Guardian 기사)
러쿤은 "품성"과 "지능"의 문제를 구분하자고 말했는데, 인간의 대부분의 문제도 인간 지능의 문제보다 품성의 문제가 크다고 지적했다. 따라서 인공"지능"은 인간의 품성에서 비롯된 여러 문제를 야기하지 않을 것이라 내다보았다.
슈미드후버는 이에 대해서도 특이한 의견을 내놓았는데, 어린이가 어린이와 놀고, 성인이 성인끼리 놀듯, 인공지능도 비슷한 수준의 인공지능과 어울리게 될 것이란 이야기를 했다. 따라서 인공지능은 인간에 대해 큰 관심을 두지 않을 것이며, 미래에 인간의 두뇌를 크게 앞서는 인공지능은 그들끼리만 어울려 러쿤이 얘기한 것처럼 인간의 품성과 관련된 문제는 야기하지 않을 것이라 내다봤다.
질문과 답변, 결론
(이 부분에 대해선 조경현 교수가 마이크를 옮겨 다니느라 노트를 자세히 노트를 하지 못했다고 함)
Tieleman은 unsupervised learning의 옵션으로서의 active learning / exploration을 질문했다. (보상을 최대로 하도록 에이전트 스스로 데이터를 찾아다니는 것을 말한다.) 슈미드후버와 머피는 데이터를 능동적으로 탐색하는 것이 자연의 모습이라 말하며 아기가 라벨링 없이 정보들을 습득하는 과정들을 예로 들며 이들 방법의 잠재력을 높게 평가했다.
조경현 교수는 재미난 질문을 던졌는데, 만약 정말로 잘 동작하는 인공지능을 기업이 결국 만든다면, 만든 기업은 세상이 아직 준비가 안되어 있다며 혹은 잠재적 경쟁자의 상품화를 우려하며 그 개발 사실을 감출 것인가에 대한 질문이었다. 모든이들은 대답은 그렇지 않을 것이란 대답이었다. 인공지능의 발전은 갑툭튀(ㅎㅎ)가 아닌 많은 연구자들의 점진적 기여에 의해 이루어질 것이며, 따라서 감추는 일은 벌어지지 않을 것이라 이야기했다. (후에 조경현 교수는 이 질문이 차후 인공지능이 개발되었을 시 핵심기술에 대한 소유권이 기업 혹은 개인에 종속될 수 있기에 생각해볼만한 문제라 여겨 질문을 던졌다고 발혔다.)
마지막으로 조경현 교수가 남긴 finding은 다음과 같다.
(1) unlabelled data를 그대로 다루기보다 모델이 스스로 (reward가 큰 쪽으로) unlabelled data를 취사선택하게 하여(e.g. reinforcement learning, automated laboratory) 사용하는 것이 좋을 것 같다.
(2) 연구에 대한 과대포장(공상)은 연구자들이 스스로 자신의 연구결과를 대중에 공개하고 비전문가에게 직접 설명함으로써 해결할 수 있을 것이다. (팟캐스트, 오픈 리뷰, 블로그 등이 도움이 될 것이나 확실한 정답은 없다.)
(3) 산업계와 학계가 합의하는 일치점은 아직 없으나 그들이 각자 역할을 하며 큰 목표를 향해 달려가고 있다는 것만은 분명하다.
(4) 현재는 딥러닝이 인간이 잘하는 일(e.g. 이미지 인식)을 따라잡는데 애썼으나 앞으로는 인간이 할 수 없는 일도 하게될 것이다. 그런 의미에서, 의약/헬스케어 분야는 딥러닝의 유망한 적용분야가 될 것이다.
Terry가 느낀 점
먼저 우리 삶의 변화를 한번 되돌아보자. 예전에는 뉴스를 듣기 위해 9시 뉴스를 기다리거나 다음날 조간 신문을 기다려야 했다. 하지만 지금은 손안의 모바일을 통해 실시간으로 뉴스를 확인할 수 있으며, 만약 지금 발생한 뉴스를 '내일 아침까지 정리해서 줄게'라고 한다면 그 사람은 아마 바보취급을 받을 것이라 생각한다.
하지만 '지금 발견한 사실을 6개월 뒤에 알려줄게'라고 말하는게 통용되는 사회가 있으니 바로 학계이다. 제출 후 게재까지 학회는 6개월, 저널은 길게는 1년 이상도 소요되는데, 이렇게 되면 이미 예전에 제출했던 논문은 옛 지식이 되어버리는 경우가 많다. (그래서 학회장에선 정작 새로운 내용을 발표하기도 한다.) 빠르게 피드백 받고 빠르게 업데이트 해야하는 이 시대에, 1년을 기다려야하는 학계의 프로세스는 너무 뒤떨어진 것은 아닐까?
그런면에서 딥러닝 연구그룹은 매우 발빠른 대처모습을 보여준다. 대부분의 논문은 arXiv.org를 통해 먼저 게재되고 있으며 (논문은 저자가 쓰고 저작권은 저널이 갖는 말도 안되는 저작권 문제 좀!) ICLR과 같은 신흥학회에서는 오픈 리뷰와 같은 새로운 시스템이 자리잡고 있다. 따라서 연구자들은 실시간으로 올라오는 연구 결과들을 arXiv 등을 통해 미리 받아볼 수 있고, 자신이 쓴 논문을 페이스북, 구글플러스, 리서치게이트 등을 통해 미리 홍보하며 댓글로 피드백을 받을 수 있으며, 그러는 과정 속에 활발한 네트워킹이 생기고 새로운 기회를 창출하기도 한다. 이 얼마나 21세기에 맞는 접근법인가!
어떤 이들은 arXiv에 가끔 수준 이하의 논문들이 올라온다며 오픈 리뷰에 의문을 표시하기도 하는데, 피어 리뷰가 얼마나 엉망으로 진행되는지 경험해본 연구자들이라면 아마 피어 리뷰가 더 낫다고 쉽게 이야기하기 힘들 것이다. (피어 리뷰는 심사하는 당사자에겐 정말 귀찮은 작업이고, 교수가 대학원생에게 떠넘겨 '뭐도 모르는 상태'에서 리뷰를 하는 경우가 비일비재하다.) 결국 학계의 빠른 발전을 위해선 논문 역시 완성된 순간 적극적으로 "공개하고 공유해야"한다고 믿으며, 이를 위해선 제발 저널의 폐쇄적인 프로세스부터 뜯어 고쳤으면 하는 바람이다.
또 한가지 배울 점은 공공 데이터의 역할이다. 딥러닝은 ImageNet, TIMIT과 같이 연구자 누구나 사용할 수 있는 대량의 공공데이터를 마련해 놓고 이 데이터를 통해 좋은 연구성과를 이뤄내는 방식으로 발전을 거듭해왔다. (때론 성능을 경쟁하는 "챌린지"를 펼치기도 하고 말이다!) 하지만 지금의 로봇 학계처럼 연구자 스스로 이론부터 소프트웨어, 하드웨어, 데이터수집, 실험 등등까지 모두 처리해야하는 구조이고, 따라서 혼자 모두 감당하려면 그 연구가 늦어질 수 밖에 없다. 결국 실험장비나 시스템이 잘 갖춰져있는 대형 연구실들은 논문을 찍어내는 반면, 창의적 아이디어는 있으나 구현 환경이 갖춰지지 않은 작은 연구실들에선 그만큼 저널 통과가 점점 버거워지고 있다. 이러한 "연구환경 불평등"을 해소하려면 로봇에도 공공데이터가 필요하다. DARPA에서 휴머노이드 ATLAS를 제공해 연구자들의 하드웨어 개발부담을 덜어준 것이 좋은 예인데, 한국에도 이와 같이 연구를 위한 공공자원의 지원이 필요하지 않을까 싶다. (연구계획서 좀 그만 요구하고 말이다.)
마지막으로 학계와 산업계의 밀접한 관계를 딥러닝 연구그룹의 또다른 장점으로 꼽고싶다. 물론 그 분야가 유망하기에 이런 끈끈한 관계가 형성된 것일지도 모르지만, 이렇게 자신의 연구를 기업에서 가서도 자연스럽게 옮겨 할 수 있다는 환경이 그저 부러울 뿐이다. 로봇공학자는 무슨 신제품을 뚝딱 만들어내는 장인으로 아는지 학교에서는 줄곧 A만 하다가 회사에 가서는 전혀 엉뚱한 B를 하고있는 경우를 많이 봐서 더욱 안타까운 마음이다. 기업이 학계에서 일어나는 일도 적극적으로 관심을 가져 박사과정생들을 연구 초기단계부터 협업하며 키운다면 로봇계도 학계와 산업계가 자연스레 어우러지는 환경을 만들 수 있지 않을까 기대해본다. 로봇계도 딥러닝 연구그룹의 중흥 모습을 본받아 혁신의 시대를 맞이했으면 하는 바람이다.
* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.
[facebook] http://facebook.com/trobotics
[rss] http://t-robotics.blogspot.kr/feeds/posts/default
댓글 없음:
댓글 쓰기