2018년 11월 8일 목요일

#38. 딥러닝의 실제문제 적용, 레이블이 전부다

연구든 비지니스든, 실제 데이터에 딥러닝을 적용하시는 분들이라면 아마 supervised learning을 먼저 고려하셔야 할텐데요, 최대한 데이터를 빨리 모은 후 여러 최신 딥러닝 모델들을 적용하고 싶으시겠죠.

그런데 저는 다시한번 데이터 그 자체에 집중하셔야 한다고 말씀드리고 싶습니다. 왜냐면 좋은 데이터를 이기는 머신러닝 모델은 없거든요.

이 영상의 주제는 다음과 같습니다.

- 좋은 레이블을 이기는 머신러닝 모델은 없다.
- supervised learning은 invariance를 배우는 과정이다.
- 말로 표현할 수 있다면 최대한 그것을 적용하는 것이 데이터 효율을 높인다.
- 좋은 domain-knolwedge를 통해 annotation 알고리즘을 만들고, 그것을 통해 labeled dataset을 얻을텐데, 그래도 데이터는 한땀한땀 점검을 해야한다.

그럼 즐겁게 들어주세요 ^^

[비디오]



[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

2018년 9월 29일 토요일

# 37. GIST 레이드랩에서 진행한 5분 잡썰

"저 딥러닝 강좌도 다 봤고 시중에 나온 책도 다 봤는데 그 다음엔 뭘 해야하죠? 뭔가 아는 것 같으면서도 딥러닝을 잘 모르고 있는 것 같아요."

많은 분들이 딥러닝 튜토리얼 레벨의 학습을 마친 후 무엇을 공부해야 하는지 질문을 하십니다. 아마도 다음 타겟은 튜토리얼 속 문제가 아닌 real-world problem에 도전하는 것이겠죠?

하지만 real-world problem을 다루는 머신러닝 연구자/개발자는 튜토리얼에선 볼 수 없었던 많은 문제에 부딪치게 됩니다. 어쩌면 '뭐야.. 내가 현재 하고있는 일의 90%는 튜토리얼에서 중요하다고 언급도 안했던 내용들이잖아'라며 느끼실지도 모릅니다.

과연 튜토리얼 밖 실제문제에 딥러닝을 적용할 땐 어떤 이슈들을 맞이하게 될까요? 오랜만에 돌아온 테리의 딥러닝톡, 즐겁게 들어주세요 :)


[비디오]



[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

2018년 9월 20일 목요일

#36. 딥러닝의 실제적용, 튜토리얼과 무엇이 다른가?

"저 딥러닝 강좌도 다 봤고 시중에 나온 책도 다 봤는데 그 다음엔 뭘 해야하죠? 뭔가 아는 것 같으면서도 딥러닝을 잘 모르고 있는 것 같아요."

많은 분들이 딥러닝 튜토리얼 레벨의 학습을 마친 후 무엇을 공부해야 하는지 질문을 하십니다. 아마도 다음 타겟은 튜토리얼 속 문제가 아닌 real-world problem에 도전하는 것이겠죠?

하지만 real-world problem을 다루는 머신러닝 연구자/개발자는 튜토리얼에선 볼 수 없었던 많은 문제에 부딪치게 됩니다. 어쩌면 '뭐야.. 내가 현재 하고있는 일의 90%는 튜토리얼에서 중요하다고 언급도 안했던 내용들이잖아'라며 느끼실지도 모릅니다.

과연 튜토리얼 밖 실제문제에 딥러닝을 적용할 땐 어떤 이슈들을 맞이하게 될까요? 오랜만에 돌아온 테리의 딥러닝톡, 즐겁게 들어주세요 :)


[비디오]



[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

2018년 5월 21일 월요일

#35. Deep Variational Bayes Filters (2017)

seqeunce나 time-series 데이터엔 RNN이나 LSTM이 참 효과적이죠? 하지만 그것만으로는 불만족스럽다고 하네요. "What's wrong with RNN?"

사실 비슷한 질문을 한적이 있었죠. "Autoencoder가 있는데 Variational Autoencoder는 도대체 왜 있는거죠?" 핵심은 Latent space에 있습니다. 사실 우리는 prediction만을 내뱉는걸 원하지 않고, 확률분포를 알기를 바라며, 더 정확히는 observation을 만들어내는 데이터가 "진짜로" 살고 있는 공간, latent space를 찾길 바라는거죠.

무슨 얘기냐고요? 이 발표를 들으시면 조금은 감이 잡히시지 않을까 싶습니다. VAE를 timeseries에 확장한, 혹은 칼만필터에 딥러닝을 첨가한 "Deep Variational Bayes Filters (2017)"이란 논문입니다.


"Deep Variational Bayes Filters: Unsupervised Learning of State Space Models from Raw Data", ICLR2017.
[Link] https://arxiv.org/abs/1605.06432




[비디오]


[슬라이드]
* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

2018년 4월 13일 금요일

#34. KL divergence, 순서가 중요할까요?

Kullback-Leibler Divergence (쿨벡-라이블러 다이버전스, 혹은 KL divergence) 많이 써보셨죠? 두개의 확률분포가 있을 때 둘 사이의 차이를 측정해주는 용도로 많이 쓰는데요, 아마 'KL Divergence는 거리처럼 쓰이지만 거리는 아니다'라는 얘기도 많이 들어보셨을 겁니다.

이유는 두 분포의 순서 중 어떤 것을 먼저 넣느냐에 따라 나오는 값이 달라지기 때문인데요, 즉 KL(P,Q) != KL(Q,P)라는거죠. 그렇다면... P(X)를 true, Q(X)를 predicted라고 했을 때 어떤 값을 먼저 넣어서 거리를 재야할까요? 순서에 따라 물리적 의미의 차이가 있을까요? 오늘은 KL-divergence에 대해 더 깊이 알아보았습니다.




[비디오]



[슬라이드]


* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default

2018년 3월 25일 일요일

#33. On Calibration of Modern Neural Networks

딥러닝으로 classification을 하면 "클래스 확률"이라 믿어지는 softmax 아웃풋이 나오죠? 하지만 아웃풋 노드값이 0.9가 나왔다고해서, 그것이 90% 확률로 맞을 가능성이 있다는 뜻은 아니랍니다. 그렇다면 0.9가 실제 "90% 정확도"를 표현하게 만들려면 어떻게 해야할까요?

이러한 주제를 calibration이라고 하는데요, 이번에 PR-12 논문읽기 모임에서 발표한 "On Calibration of Modern Neural Networks"이란 논문은 단순히 상수로 나눠주는 것만으로 이 문제를 간단하게 해결하였습니다. 논문의 내용도 흥미롭지만, 문제를 설정하고 풀어나가는 과정도 연구자로서 볼만하네요. 그럼 즐겁게 들어주세요 ^^

2018년 2월 16일 금요일

#32. PCA의 이해

PCA라고 들어보셨나요? 보통 차원축소(dimensionality reduction)나 시각화(visualization), 그리고 특징 추출(feature extraction)을 할 때 많이 쓰는 방법인데요, 사실 PCA는 모든 dimensionality reduction 기법들의 기본이자 선형대수의 종합일 정도로 너무나 중요하고 꼭 숙지해야 할 기법입니다. 아름다울 뿐만 아니라 실용적이기도 하고요.

그래서 오늘은 PCA를 "수식없이" 살펴봤습니다. 내용이 중요하다보니 이야기가 좀 길어졌네요ㅎㅎ 영상을 보고 PCA에 대해 더 알아보실 분들은 저의 옛 블로그를 참고하시거나, 더 좋은 방법은 영어로 된 튜토리얼 문서를 한번 꼭 읽어보세요!

[Link] "PCA의 의미와 한계점" https://www.facebook.com/TRobotics/posts/796663103771140
[Link] "A Tutorial on PCA", Jonathon Shlens, https://arxiv.org/abs/1404.1100





[비디오]


[슬라이드]


* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 


2018년 1월 28일 일요일

#31. Deep Learning: A Critical Appraisal

이번에 리뷰한 논문은 논문이라기보단 칼럼에 가까운 글입니다. 딥러닝과 현재 딥러닝 연구들의 한계점들에 대해 이야기한 "Deep learning: A critical appraisal"이란 논문인데요, "왜 딥러닝을 이용해야하는가?", "딥러닝이 잘하는 것은 무엇이고 못하는 것은 무엇인가?", "인공지능은 얼마나 멀리있는가?" 등에 대해 이야기하려면 꼭 짚어봐야하는 내용들이죠.