딥러닝 학습 순서 요약

1. 좋은 weight를 찾는 것이 우리의 목표입니다. 그래서 처음에는 랜덤한 값을 넣습니다.

• 딥러닝의 목표는 주어진 데이터에서 최적의 가중치(weight)를 찾고, 모델이 데이터를 잘 예측 것이다.
• 처음에는 가중치를 임의의 값으로 설정하고 시작한다

2. 그리고 나서 데이터를 넣고 예측을 하게 됩니다.

• 주어진 입력 데이터(input data)를 모델에 넣으면, 모델은 현재의 가중치에 기반해 예측값을 출력합니다.

3. 당연히 처음에는 예측을 못합니다.

• 초기 가중치는 랜덤이기 때문에, 처음 예측은 정답과 많이 다를 수 있습니다.
• 이는 모델이 아직 학습되지 않았기 때문입니다.

 

4. 정답이랑 비교해서 얼마나 예측을 못했는지 Loss 함수를 통해 Loss라는 계산값을 얻습니다.

• 예측값과 실제 정답(label)을 비교하여, 예측이 얼마나 틀렸는지를 Loss 함수(손실 함수)를 통해 계산합니다.
• 이 Loss는 모델의 성능을 평가하는 척도입니다.
• 예를 들어, 회귀 문제에서는 MSE(Mean Squared Error), 분류 문제에서는 Cross-Entropy Loss 등을 사용합니다.

 

5. Loss를 계산 했는데, 엄청 못하는고만 ~ 이것을 알았습니다.

• 처음 계산된 Loss는 클 가능성이 높습니다. 이는 모델이 아직 학습되지 않았기 때문에 당연한 결과입니다.

 

6. 덜 못하게 만들어야 하는데, 그러면 weight를 바꿔야 합니다.

• 모델의 예측 성능을 향상시키려면, Loss를 줄여야 합니다. 이를 위해 가중치(weight)를 업데이트합니다.

 

7. 어떻게 바꿀꺼야? 미분을 해서 바꾼다.  

• 가중치를 어떻게 업데이트할지 결정하기 위해, Loss를 가중치에 대해 미분(gradient)을 합니다.
• 이 미분값을 이용해 가중치를 업데이트합니다. 
• 이 과정은 "Gradient Descent(경사 하강법)"이라 불리며, 여기서 LR은 학습률(Learning Rate), G는 Gradient입니다.
• 업데이트 식은 가중치에 기울기(gradient)를 학습률만큼 곱한 값을 빼주는 형태입니다.  

 

8. W(new) = W(old) - LR * G

• 위의 식에서 새로운 가중치(Wnew)는 이전 가중치(Wold)에서 학습률(LR)과 기울기(G)를 곱한 값을 빼는 방식으로 업데이트됩니다. 이 과정을 반복하여 Loss가 최소화되는 최적의 가중치를 찾아갑니다.