본문 바로가기

AI Naver boost camp/[Week 02] ML LifeCycle7

2-layer MLP (Multi Layer Perceptron) grad_y_pred = 2.0 * (y_pred - y)grad_w2 = h_0.T.dot(grad_y_pred)grad_h = grad_y_pred.dot(w2.T)grad_w1 = x.T.dot(grad_h * h * (1 - h))w1 -= learning_rate * grad_w1w2 -= learning_rate * grad_w21. 정의2-layer MLP (Multi-Layer Perceptron)은 두 개의 주요 층을 가진 신경망 모델이다.여기서 "2-layer"는 일반적으로 입력층과 출력층 사이에 2개의 은닉층이 있는 구조를 의미합니다.이 신경망은 비선형 변환을 통해 입력 데이터를 처리하고, 복잡한 패턴을 학습할 수 있습니다.2. 2-layer MLP의 구성입력층 (Input Layer.. 2024. 8. 16.
Numpy - dot, @, * 차이점 1. '@' 과 np.dot연산자@ 연산자는 행렬 곱셈(Matrix Multiplication)을 수행하는 데 사용된다.이는 numpy 배열 간의 행렬 곱셈을 간결하게 표현할 수 있는 연산자입니다.차원, 2차원, 3차원 배열 등 모든 차원의 배열에서 요소별 곱셈을 수행할 수 있다.import numpy as np# 두 개의 2x2 행렬 생성A = np.array([[1, 2], [3, 4]])B = np.array([[5, 6], [7, 8]])# 행렬 곱셈C = A @ Bprint("A @ B:")print(C)# 행렬 곱셈D = np.dot(A, B)print("np.dot(A, B):")print(D)# 결과# A @ B:# [[19 22]# [43 .. 2024. 8. 16.
경사하강법 - Gradient Desent 1. 손실함수 정의손실 함수는 모델의 예측값과 실제 값의 차이를 측정하는 함수이다.모델의 성능을 평가하는 기준으로, 손실 값이 클수록 모델의 예측이 실제 값과 많이 다르다는 것을 의미하고,손실 값이 작을수록 모델의 예측이 실제 값에 가깝다는 것을 의미합니다. 주요 역할모델 평가: 학습 과정에서 모델의 성능을 평가합니다.학습 지표: 손실 값을 최소화하는 방향으로 모델의 가중치를 조정합니다.예시회귀 문제: 평균 제곱 오차(Mean Squared Error, MSE)분류 문제: 교차 엔트로피 손실(Cross-Entropy Loss)2. 경사하강법 (Gradient Descent) 정의경사하강법은 손실 함수를 최소화하기 위해 모델의 가중치를 조정하는 최적화 알고리즘이다.이 방법은 손실 함수의 기울기를 계산하고,.. 2024. 8. 13.

티스토리툴바