2019년 3월 7일 목요일

#43. "정확도 98%의 인공지능"이 거짓인 이유


작년 저는 KIST에 계신 선배님으로부터 자문을 요청 받았습니다. 학생이 너무 좋은 결과를 가지고 왔는데, 분명 뭐가 잘못된 것 같은데 한번 봐달라는 것이었습니다. 학생은 뇌파를 가지고 환자가 어떤 운동상태인지를 머신러닝으로 판단하고 있었는데, 정확도가 무려 95%가 넘었습니다.

저는 자신있게 얘기했죠. 이거 잘못된 거 맞다고... 도대체 뭐가 잘못 되었을까요?레벨 별로 저지르는 실수를 정리해 보았습니다. 결론부터 말씀 드리자면, 현실 성능에 가깝게 성능을 보여주는 test set을 갖는 것이 곧 그 연구실/기업의 실력입니다. 너무 결과가 좋게 나오면 꼭 나를 의심합시다ㅎㅎ

[비디오]


[슬라이드]

* 테리의 딥러닝 토크 
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/ 

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다. 
[facebook] http://facebook.com/trobotics 
[rss] http://t-robotics.blogspot.kr/feeds/posts/default