#39. 딥러닝 공부 가이드 2019 (무료 강의, 책)

테리가 추천하는 무료 딥러닝 공부자료들입니다.

딥러닝 토크 처음 시작할 때도 한번 추천한 바 있는데, 그게 벌써 2년 전이더라고요. 그 때 추천해드린 자료도 여전히 좋은 자료들인데요, 새로운 자료들도 좋은게 많아 2년 만에 2019년 버전으로 업데이트 하였습니다!

영상에서 소개하고 있는 무료 강좌 / 책 링크들은 다음과 같습니다.
(유튜브 위주로 올렸으나 사이트들도 있는 경우가 많으니 참고하세요)

[무료 강좌 - 섬머스쿨]
머신러닝 1시간으로 입문하기 (Terry)  https://goo.gl/FoPe2c
Deep Learning & Reinforcement Learning Summer School
(2017)  https://goo.gl/4WthXN
(2018)  https://goo.gl/Z7stFe
Machine Learning Summer School (MPI) https://goo.gl/5hQtA1

[무료 강좌 - 한학기 강좌]
DeepLearning.ai (Andrew Ng)  https://goo.gl/mMr4AW
CS231n (Stanford)  https://goo.gl/WTLZkg
CS224d (Stanford)  https://goo.gl/nmY6Ws
Fast.ai (Fast.ai)  https://goo.gl/aBkesx

[무료 강좌 - 강화학습]
Deep RL bootcamp (UC Berkeley)  https://goo.gl/i6CbtR
UCL lectures (DeepMind)  https://goo.gl/gF7EoY
CS294 (UC Berkeley)  https://goo.gl/d17a5x

[무료 강좌 - 한글]
모두의 딥러닝 (김성훈)  https://goo.gl/zP6cYS
모두의 강화학습 (김성훈)  https://goo.gl/XQiB9f
자연어 처리 (조경현)  https://goo.gl/h8q6Kw
딥러닝 논문들 (최성준)  https://goo.gl/7f2YyN
머신러닝 & 파이썬 (최성철, 유료)  https://goo.gl/gy3U2y

[무료 책]
"Pattern Recognition and Machine Learning"  https://goo.gl/EMbNKm
"The Element of Statistical Learning"  https://goo.gl/Y8GqqG
"Gaussian Process for Machine Learning"  https://goo.gl/4LU3Df
"Dive into Deep Learning"  https://goo.gl/Bk5wF5
"Deep Learning"  https://goo.gl/4kVPrm
"Machine Learning: a Probabilistic Perspective" (유료)

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#38. 딥러닝의 실제문제 적용, 레이블이 전부다

연구든 비지니스든, 실제 데이터에 딥러닝을 적용하시는 분들이라면 아마 supervised learning을 먼저 고려하셔야 할텐데요, 최대한 데이터를 빨리 모은 후 여러 최신 딥러닝 모델들을 적용하고 싶으시겠죠.

그런데 저는 다시한번 데이터 그 자체에 집중하셔야 한다고 말씀드리고 싶습니다. 왜냐면 좋은 데이터를 이기는 머신러닝 모델은 없거든요.

이 영상의 주제는 다음과 같습니다.

- 좋은 레이블을 이기는 머신러닝 모델은 없다.
- supervised learning은 invariance를 배우는 과정이다.
- 말로 표현할 수 있다면 최대한 그것을 적용하는 것이 데이터 효율을 높인다.
- 좋은 domain-knolwedge를 통해 annotation 알고리즘을 만들고, 그것을 통해 labeled dataset을 얻을텐데, 그래도 데이터는 한땀한땀 점검을 해야한다.

그럼 즐겁게 들어주세요 ^^

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

# 37. GIST 레이드랩에서 진행한 5분 잡썰

"저 딥러닝 강좌도 다 봤고 시중에 나온 책도 다 봤는데 그 다음엔 뭘 해야하죠? 뭔가 아는 것 같으면서도 딥러닝을 잘 모르고 있는 것 같아요."

많은 분들이 딥러닝 튜토리얼 레벨의 학습을 마친 후 무엇을 공부해야 하는지 질문을 하십니다. 아마도 다음 타겟은 튜토리얼 속 문제가 아닌 real-world problem에 도전하는 것이겠죠?

하지만 real-world problem을 다루는 머신러닝 연구자/개발자는 튜토리얼에선 볼 수 없었던 많은 문제에 부딪치게 됩니다. 어쩌면 '뭐야.. 내가 현재 하고있는 일의 90%는 튜토리얼에서 중요하다고 언급도 안했던 내용들이잖아'라며 느끼실지도 모릅니다.

과연 튜토리얼 밖 실제문제에 딥러닝을 적용할 땐 어떤 이슈들을 맞이하게 될까요? 오랜만에 돌아온 테리의 딥러닝톡, 즐겁게 들어주세요 :)

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#36. 딥러닝의 실제적용, 튜토리얼과 무엇이 다른가?

"저 딥러닝 강좌도 다 봤고 시중에 나온 책도 다 봤는데 그 다음엔 뭘 해야하죠? 뭔가 아는 것 같으면서도 딥러닝을 잘 모르고 있는 것 같아요."

많은 분들이 딥러닝 튜토리얼 레벨의 학습을 마친 후 무엇을 공부해야 하는지 질문을 하십니다. 아마도 다음 타겟은 튜토리얼 속 문제가 아닌 real-world problem에 도전하는 것이겠죠?

하지만 real-world problem을 다루는 머신러닝 연구자/개발자는 튜토리얼에선 볼 수 없었던 많은 문제에 부딪치게 됩니다. 어쩌면 '뭐야.. 내가 현재 하고있는 일의 90%는 튜토리얼에서 중요하다고 언급도 안했던 내용들이잖아'라며 느끼실지도 모릅니다.

과연 튜토리얼 밖 실제문제에 딥러닝을 적용할 땐 어떤 이슈들을 맞이하게 될까요? 오랜만에 돌아온 테리의 딥러닝톡, 즐겁게 들어주세요 :)

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#35. Deep Variational Bayes Filters (2017)

seqeunce나 time-series 데이터엔 RNN이나 LSTM이 참 효과적이죠? 하지만 그것만으로는 불만족스럽다고 하네요. "What's wrong with RNN?"

사실 비슷한 질문을 한적이 있었죠. "Autoencoder가 있는데 Variational Autoencoder는 도대체 왜 있는거죠?" 핵심은 Latent space에 있습니다. 사실 우리는 prediction만을 내뱉는걸 원하지 않고, 확률분포를 알기를 바라며, 더 정확히는 observation을 만들어내는 데이터가 "진짜로" 살고 있는 공간, latent space를 찾길 바라는거죠.

무슨 얘기냐고요? 이 발표를 들으시면 조금은 감이 잡히시지 않을까 싶습니다. VAE를 timeseries에 확장한, 혹은 칼만필터에 딥러닝을 첨가한 "Deep Variational Bayes Filters (2017)"이란 논문입니다.


"Deep Variational Bayes Filters: Unsupervised Learning of State Space Models from Raw Data", ICLR2017.
[Link] https://arxiv.org/abs/1605.06432

[YouTube] https://www.youtube.com/watch?v=uM0rQtL6_AA&t=61s&list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq&index=40
[Slides] https://www.slideshare.net/TerryTaewoongUm/deep-variational-bayes-filters-2017

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#34. KL divergence, 순서가 중요할까요?

Kullback-Leibler Divergence (쿨벡-라이블러 다이버전스, 혹은 KL divergence) 많이 써보셨죠? 두개의 확률분포가 있을 때 둘 사이의 차이를 측정해주는 용도로 많이 쓰는데요, 아마 'KL Divergence는 거리처럼 쓰이지만 거리는 아니다'라는 얘기도 많이 들어보셨을 겁니다.

이유는 두 분포의 순서 중 어떤 것을 먼저 넣느냐에 따라 나오는 값이 달라지기 때문인데요, 즉 KL(P,Q) != KL(Q,P)라는거죠. 그렇다면... P(X)를 true, Q(X)를 predicted라고 했을 때 어떤 값을 먼저 넣어서 거리를 재야할까요? 순서에 따라 물리적 의미의 차이가 있을까요? 오늘은 KL-divergence에 대해 더 깊이 알아보았습니다.

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#33. On Calibration of Modern Neural Networks

딥러닝으로 classification을 하면 "클래스 확률"이라 믿어지는 softmax 아웃풋이 나오죠? 하지만 아웃풋 노드값이 0.9가 나왔다고해서, 그것이 90% 확률로 맞을 가능성이 있다는 뜻은 아니랍니다. 그렇다면 0.9가 실제 "90% 정확도"를 표현하게 만들려면 어떻게 해야할까요?

이러한 주제를 calibration이라고 하는데요, 이번에 PR-12 논문읽기 모임에서 발표한 "On Calibration of Modern Neural Networks"이란 논문은 단순히 상수로 나눠주는 것만으로 이 문제를 간단하게 해결하였습니다. 논문의 내용도 흥미롭지만, 문제를 설정하고 풀어나가는 과정도 연구자로서 볼만하네요. 그럼 즐겁게 들어주세요 ^^

#32. PCA의 이해

PCA라고 들어보셨나요? 보통 차원축소(dimensionality reduction)나 시각화(visualization), 그리고 특징 추출(feature extraction)을 할 때 많이 쓰는 방법인데요, 사실 PCA는 모든 dimensionality reduction 기법들의 기본이자 선형대수의 종합일 정도로 너무나 중요하고 꼭 숙지해야 할 기법입니다. 아름다울 뿐만 아니라 실용적이기도 하고요.

그래서 오늘은 PCA를 "수식없이" 살펴봤습니다. 내용이 중요하다보니 이야기가 좀 길어졌네요ㅎㅎ 영상을 보고 PCA에 대해 더 알아보실 분들은 저의 옛 블로그를 참고하시거나, 더 좋은 방법은 영어로 된 튜토리얼 문서를 한번 꼭 읽어보세요!

[Link] "PCA의 의미와 한계점" https://www.facebook.com/TRobotics/posts/796663103771140
[Link] "A Tutorial on PCA", Jonathon Shlens, https://arxiv.org/abs/1404.1100

[비디오]

[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 

[rss] http://t-robotics.blogspot.kr/feeds/posts/default

#31. Deep Learning: A Critical Appraisal

이번에 리뷰한 논문은 논문이라기보단 칼럼에 가까운 글입니다. 딥러닝과 현재 딥러닝 연구들의 한계점들에 대해 이야기한 "Deep learning: A critical appraisal"이란 논문인데요, "왜 딥러닝을 이용해야하는가?", "딥러닝이 잘하는 것은 무엇이고 못하는 것은 무엇인가?", "인공지능은 얼마나 멀리있는가?" 등에 대해 이야기하려면 꼭 짚어봐야하는 내용들이죠.