혹시 "classification을 위해 cross-entropy를 loss function으로 사용합니다" 라든지, "분포의 차이를 줄이기 위해 KL-divergence를 최소화시킵니다"와 같은 이야기를 들어보신 적 있으신가요?
정보의 양을 따질 때, 혹은 확률 분포들의 차이를 따질 때 중요하게 사용되는 개념 중 하나가 바로 Entropy인데요, 오늘은 엔트로피란 무엇인지에 대해 쉬운 예제와 함께 살펴봤습니다.
결론을 말씀드리자면 "엔트로피는 정보를 최적으로 인코딩하기 위해 필요한 bit수이며, 각 label들의 확률 분포의 함수"입니다.
[비디오]
[슬라이드]
* 테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq [facebook] https://www.facebook.com/deeplearningtalk/
* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.
[facebook] http://facebook.com/trobotics
[rss] http://t-robotics.blogspot.kr/feeds/posts/default
