[DL] 모두를 위한 딥러닝 10-5 ReLu, Xavier, Dropout, Adam

---

*)모델은 3줄밖에 안되는데 나름 훌륭한 결과를 내었다.

기존 7장에서 구현하였던 MNIST 예제이다.

 

계층을 늘리게 된다면 정확도가 증가하게 된다.

 

 

Xavier 초기값으로 설정하게 된다면 정확도가 더욱 증가한다.

*)초기값이 잘 설정되었기 때문에 cost가 낮다

 

 

계층을 증가시켰음에도 정확도가 더 나아지지 않은 모습이다. (Overfitting)

 

 

Overfitting문제를 해결하기 위해 Dropout기법을 사용하여 정확도가 더욱 증가하였다.

경사하강법 외에 더욱 다양한 최적화 알고리즘이 존재한다.