1. 활성화 함수 딥러닝을 수행할 때 각 뉴런은 입력받은 값을 바로 전달하지 않고 활성화 함수를 통과시킨 뒤 다음 뉴런으로 값을 전달한다. 활성화 함수는 비선형 함수이다. 아래 그림을 보자. 활성화 함수를 사용하지 않고 값을 그대로 전달하게 된다면 뉴런을 구성하고, hidden layer를 구성하는 의미가 없어진다. 또한 활성화 함수를 선형 함수로 한다면 아래와 같은 상황이 발생한다. 1) 1층 뉴런의 활성화 함수는 $h(x)= 2x+ 5$, 2층 뉴런의 활성화 함수는 $g(x)= -3x+ 2$이다. 2) 입력값 $x$가 1층-> 2충 뉴런을 거쳐 출력된다. 3) 따라서 출력은 $g(h(x))= -3(2x+ 5)+ 2= g(h(x))= -3(2x+ 5)+ 2= -6x -13$이다. 4) 이는 $h(x)=..
