나름개발블로그

Chapter 11 심층 신경망 훈련하기 훈련중에 그레이디언트 소실 , 폭주 등과 같은 문제에 직면 할 수 있다. 그레이디언트 소실과 폭주 문제 경사 하강법이 하위층의 연결 가중치를 변경되지 않은 채로 두는 문제 를 그레이디언트 소실이라고한다. 그레이디언트가 점점 커져서 여러층이 비정상적으로 큰 가중치로 갱신되는 현상을 그레이디언트 폭주라 고한다 (순환 신경망에서 주로 보임) 글로럿과 He 초기화 (앞쪽 수학적인 요소들은 한번쓱 읽어보고 넘어감 ...) 케라스는 기본적으로 균등분포의 글로럿 초기화를 사용한다. #kernel_initailizer 값 조절로 He 초기화를 사용 할 수도 있다. keras.layers.Dense(10,activation='relu',kernel_initializer="he_n..

Chapter 10 케라스를 사용한 인공 신경망 소개 생물학적 뉴런에서 인공 뉴런까지 인공 신경망은 1943년 처음 소개 되었었다. 긴시간 침체기에 있다가, 최근 다시 주목을 받기 시작하고 있다. 예전과 다르게 앞으로 우리 생활에 더 큰 영향을 줄 것이라 생각한다. 그에 대한 근거는 아래와 같다. 훈련데이터가 많이졌다. 하드웨어 발전이 크게 발전했다. 훈련 알고리즘이 향상 되었다. 이론상 제한점이 실전에서는 문제가 되지않았다. 투자와 진보의 선순환으로 들어갔다. 생물학적 뉴런 뉴런을 사용한 논리연산 인공 뉴런 (artificial neuron) 퍼셉트론 가장 간단한 인공 신경망중 하나로 1957년에 프랑크 로젠블라트가 제안 TLU(threshold logic unit) 또는 LTU(linear thres..

Chapter 9 clustering outlier detection density estimation Clustering 비슷한 것 끼리 모오는것! 아래와 같은 다양한 어플리케이션에서 사용됨 고객분류 데이터분석 차원축소기법 이상치탐지 준지도학습 검색엔진 이미지분활 k-means from sklearn.cluster import KMeans k = 5 kmeans = KMeans(n_clusters=k) y_pred = kmeans.fit_predict(X) 알고리즘이 찾을 클러스터 갯수 k 값을 준다. 모델 이너셔 (inertia) 각 샘플과 가장 가까운 센트로이드 사이의 평균 제곱 거리 최선의 클러스트 갯수를 선택하는 방법중 하나는 실루엣 점수 from sklearn.metrics import sil..