Neural Network Representations 신경망 네트워크의 구성 신경망 네트워크에는 각 레이어들을 칭하는 표기법이 있다. 입력층 : Input Layer 은닉층 : Hidden Layer (훈련 세트에서 볼 수 없음) 출력층 : Output Layer 지도학습으로 훈련시키는 신경망에서는 훈련 세트가 (입력값 ...

Neural Network Overview 신경망 네트워크 개요 이전의 내용들은 위 이미지처럼 (w^T^ * x) + b인 z 하나를 사용해서 시그모이드를 통과시킨 a를 구하고 이를 통해 Loss Function의 값을 구했다. 신경망부터는 레이어가 여러 개로 되어있는 네트워크식의 학습 방법을 사용한다. 학습 과정은 이전과 크게 ...

Computing Neural Network Output 신경망 네트워크 출력의 계산 로지스틱 회귀는 위 이미지 과정대로 학습을 진행한다. 반면에 신경망에서는 은닉층이 여러 개인 네트워크 형식으로 학습을 진행하는데 각 노드들이 어떻게 계산을 하는지 알아보자. 첫 번째 노드인 a~1~^[1]^의 경우, w^T^ * x + b의 결과...

Broadcasting in Python 파이썬의 브로드캐스팅 브로드캐스팅은 크기(Shape)가 다른 배열 혹은 행렬 간의 산술 연산을 가능하게 해주는 기능을 의미한다. 예를 들어, 네가지 음식의 탄수화물, 단백질, 지방이 주는 칼로리의 백분율을 구해본다고 하자. 계산 과정은 아래와 같다. 각 과일에 맞는 탄수화물, 단백질, 지방의 합...

Vectorizing Logistic Regression’s Gradient Computation 로지스틱 회귀의 경사 계산을 벡터화 하기 경사 계산을 위해 첫 샘플( dz^(1), dx^(2), …, dx^(m) )의 계산은 다음과 같다. dz는 값들이 가로로 쌓여있는 벡터로 구성되며, (1 x m) 행렬이다. A와 Y 또한 (1 ...

Vectorization 벡터화 딥러닝의 핵심은 데이터세트이다. 모델을 학습시키다보면 매우 큰 데이터 세트를 학습시킬 경우가 있다. 큰 데이터를 학습시키다보면 결과를 내기까지 정말 오래걸리는데 그럴수록 코드가 빠르게 실행되는 것이 매우 중요하다. 그 방법 중 하나가 벡터화다! 벡터화란 로지스틱 회귀에서는 z = (w^T * x )+ b...

More Vectorization Examples 더 많은 벡터화 예제 로지스틱 회귀와 경사하강법에서의 벡터 위는 로지스틱 회귀에서의 비용함수의 의사코드이다. 위 코드에서는 특성의 개수(dw)를 2개(dw_1, dw_2)로 가정하였지만, 만약 특성의 개수가 늘어난다면, dw_1, dw_2에서 더 나아가 dw_3, …, dw_n이 될 것이...

Logistic Regression Gradient Descent 로지스틱 회귀의 경사하강법 로지스틱 회귀 수식에 대해 잠깐 복습하고 넘어갑시다 z : weight inversed * x_data + bais y-hat : 예측값 L(a,y) : 하나의 샘플에 대한 Loss Function (a : 로지스...

Derivatives With Computer Graphs 계산 그래프로 미분하기 순전파 J(a, b, c) = 3(a + bc)에 대한 계산을 해본다고 하자. 먼저 단계를 나눠서 풀어보자 u = b * c b=3, c=2 이니까 u의 값은 b*c인 6이 된다. v = a + u a = 5, u에는 1번에서 구했던 값인 6을 ...

Gradient Descent 경사하강법 Loss, Cost Function에서 전체 데이터셋의 예측이 얼마나 잘 평가되었는지 보는 것이라면 경사하강법은 이를 가능케하는 parameter w, b를 찾아내는 방법이다. w, b를 구하려면 비용함수 J(w, b)를 매우 작게 만드는 parameter인 w와 b를 찾아야한다. 경사하강법 먼저...