강의Transformer 학습 내용Transformer 구체적인 구성 및 수식 Daily studyTransformer 원리 이해Transformer 수식 이해 회고Transformer 를 좀 더 수식위주로 학습 필요

1. 정의2-layer MLP (Multi-Layer Perceptron)은 두 개의 주요 층을 가진 신경망 모델이다.여기서 "2-layer"는 일반적으로 입력층과 출력층 사이에 2개의 은닉층이 있는 구조를 의미합니다.이 신경망은 비선형 변환을 통해 입력 데이터를 처리하고, 복잡한 패턴을 학습할 수 있습니다.grad_y_pred = 2.0 * (y_pred - y)grad_w2 = h_0.T.dot(grad_y_pred)grad_h = grad_y_pred.dot(w2.T)grad_w1 = x.T.dot(grad_h * h * (1 - h))w1 -= learning_rate * grad_w1w2 -= learning_rate * grad_w22. 2-layer MLP의 구성입력층 (Input Layer..

1. '@' 과 np.dot연산자@ 연산자는 행렬 곱셈(Matrix Multiplication)을 수행하는 데 사용된다.이는 numpy 배열 간의 행렬 곱셈을 간결하게 표현할 수 있는 연산자입니다.차원, 2차원, 3차원 배열 등 모든 차원의 배열에서 요소별 곱셈을 수행할 수 있다.import numpy as np# 두 개의 2x2 행렬 생성A = np.array([[1, 2], [3, 4]])B = np.array([[5, 6], [7, 8]])# 행렬 곱셈C = A @ Bprint("A @ B:")print(C)# 행렬 곱셈D = np.dot(A, B)print("np.dot(A, B):")print(D)# 결과# A @ B:# [[19 22]# [43 ..

강의ML LifeCycle 학습 내용Activation 이란? Daily studyActivation 장단점Activation 수식 이해 회고Activation 이 어떻게 사용되고 어떤 장단점이 있는지 파악이 필요

강의ML LifeCycle 학습 내용BackPropagartion (역전파) Daily study역전파 이해 및 원리역전파 수식  회고편미분 및 다양한 수학 수식 이해 필요

1. 손실함수 정의손실 함수는 모델의 예측값과 실제 값의 차이를 측정하는 함수이다.모델의 성능을 평가하는 기준으로, 손실 값이 클수록 모델의 예측이 실제 값과 많이 다르다는 것을 의미하고,손실 값이 작을수록 모델의 예측이 실제 값에 가깝다는 것을 의미합니다. 주요 역할모델 평가: 학습 과정에서 모델의 성능을 평가합니다.학습 지표: 손실 값을 최소화하는 방향으로 모델의 가중치를 조정합니다.예시회귀 문제: 평균 제곱 오차(Mean Squared Error, MSE)분류 문제: 교차 엔트로피 손실(Cross-Entropy Loss)2. 경사하강법 (Gradient Descent) 정의경사하강법은 손실 함수를 최소화하기 위해 모델의 가중치를 조정하는 최적화 알고리즘이다.이 방법은 손실 함수의 기울기를 계산하고,..

강의ML LifeCycle 학습 내용학습 종류 - 지도, 비지도, 강화머신러닝 라이프 사이클Linear RegrassionLinear ClassifierSoftmax Classifier Daily study다양한 Loss funtion딥러닝 학습순서 회고한줄 한줄 의미 생각하며 코드 작성하기

1. Optimizer 란?먼저 우리가 만든 모델에 Training Data가 들어가면 Output 값이 나옵니다.우리는 그 Output값이 목표로 하는 타겟값과 가까워지도록 Error Function ( = loss function)을 설정하고 Error 값이 줄어드는 방향으로 학습시키기 위해 각 Weight와 갖는 Gradient값을 계산합니다.이를 활용해 weight들을 다시 설정합니다.1~3 과정을 반복(Epoch)하며 최적의 Weight를 갖는 모델을 찾아냅니다.→ 여기서 2~4 과정을 Optimization 과정, 즉 최적화 과정이라 합니다. 2. 경사 하강법 (Gradient Desent)개념전체 데이터셋을 사용하여 손실 함수의 기울기(gradient)를 계산한 후, 그 기울기를 따라 모델의..

1. 좋은 weight를 찾는 것이 우리의 목표입니다. 그래서 처음에는 랜덤한 값을 넣습니다.딥러닝의 목표는 주어진 데이터에서 최적의 가중치(weight)를 찾고, 모델이 데이터를 잘 예측 것이다.처음에는 가중치를 임의의 값으로 설정하고 시작한다2. 그리고 나서 데이터를 넣고 예측을 하게 됩니다.주어진 입력 데이터(input data)를 모델에 넣으면, 모델은 현재의 가중치에 기반해 예측값을 출력합니다.3. 당연히 처음에는 예측을 못합니다.초기 가중치는 랜덤이기 때문에, 처음 예측은 정답과 많이 다를 수 있습니다. 이는 모델이 아직 학습되지 않았기 때문입니다. 4. 정답이랑 비교해서 얼마나 예측을 못했는지 Loss 함수를 통해 Loss라는 계산값을 얻습니다.예측값과 실제 정답(label)을 비교하여, 예..