Chapter 10
케라스를 사용한 인공 신경망 소개
생물학적 뉴런에서 인공 뉴런까지
인공 신경망은 1943년 처음 소개 되었었다.
긴시간 침체기에 있다가, 최근 다시 주목을 받기 시작하고 있다. 예전과 다르게 앞으로 우리 생활에 더 큰 영향을 줄 것이라 생각한다. 그에 대한 근거는 아래와 같다.
- 훈련데이터가 많이졌다.
- 하드웨어 발전이 크게 발전했다.
- 훈련 알고리즘이 향상 되었다.
- 이론상 제한점이 실전에서는 문제가 되지않았다.
- 투자와 진보의 선순환으로 들어갔다.
생물학적 뉴런
뉴런을 사용한 논리연산
인공 뉴런 (artificial neuron)
퍼셉트론
가장 간단한 인공 신경망중 하나로 1957년에 프랑크 로젠블라트가 제안
TLU(threshold logic unit) 또는 LTU(linear threshold unit) 라고 불리는 조금 다른 형태의 인공뉴런을 기반으로 한다 .
가중치 합을 계산한뒤 계산된 합에 계단함수(step function)을 적용하여 결과를 출력
다층 퍼셉트론과 역전파
다층 퍼셉트론은 입력층과 하나의 은닉충이라 불리는 하나이상의 TLU층과 마지막 출력층으로 구성된다.
은닉층을 여러개 쌓아 올린 인공 신경망을 심층 신경망이라고 한다. (DNN - Deep neural network)
역전파(backpropagation) 훈련 알고리즘이 나와 훈련에 성공했다.
- 각 훈견샘플에 대해 역전파 알고리즘이 먼저 예측을 만들고 (정방향 계산) 오차를 측정한다.
- 역방향으로 각 층을 거치면 서 각 연결이 오차에 기여한 정도를 측정(역방향 계산)
- 오차가 감소하도록 가중치 조정( 경사 하강법)
은닉층의 연결 가중치를 랜덤하게 초기화 하는게 중요하다.
활성화 함수를 계단 함수 대신 로지스틱 함수로 바꾸었다. (sigmoid)
- tanh : S 자모양이고 연속적이며 미분가능하다. 하지만 출력범위가 -1 에서 1 사이이다.
- ReLU : 연속적이지만 z=0에서 미분 가능하지 않다. z < 0 일 경우 도함수는 0 이다. 그러나 실제로 는 잘 작동하고 계산 속도가 빠르다 는 장점이 있다.
회귀를 위한 다층 퍼셉트론
분류를 위한 다층 퍼셉트론
