본문 바로가기

AI Naver boost camp/[Week 01] Pytorch7

경사하강법(GD) vs 확률적경사하강법(SGD) vs 미니 배치 경사하강법(MBGD) 1. Optimizer 란?먼저 우리가 만든 모델에 Training Data가 들어가면 Output 값이 나옵니다.우리는 그 Output값이 목표로 하는 타겟값과 가까워지도록 Error Function ( = loss function)을 설정하고 Error 값이 줄어드는 방향으로 학습시키기 위해 각 Weight와 갖는 Gradient값을 계산합니다.이를 활용해 weight들을 다시 설정합니다.1~3 과정을 반복(Epoch)하며 최적의 Weight를 갖는 모델을 찾아냅니다.→ 여기서 2~4 과정을 Optimization 과정, 즉 최적화 과정이라 합니다. 2. 경사 하강법 (Gradient Desent)개념전체 데이터셋을 사용하여 손실 함수의 기울기(gradient)를 계산한 후, 그 기울기를 따라 모델의.. 2024. 8. 10.
선형 회귀 (Linear Regression) _ 2 - 경사하강법, 데이터 표준화 경사하강법지난 블로그에서 손실함수 (Loss funtion)은손실함수는 실제값(target)과 예측값(y) 간의 차이를 수치적으로 측정하는 함수 라고 언급 했습니다. 1. 경사하강법이란??모델의 손실함수 값을 최소화하기 위해 사용하는 최적화 알고리즘 입니다.경사하강법은 현재의 모델 파라미터(예: 가중치, 편향)에서손실 함수의 기울기(경사)를 계산하고,이 기울기의 반대 방향으로 파라미터를 조금씩 업데이트해 나가는 방식으로 작동한다.이렇게 하면 손실 함수의 값이 점차 줄어들면서,최종적으로 최솟값(최적의 파라미터)에 도달할 수 있게 됩니다.단계별 설명초기화: 모델의 파라미터를 임의의 값으로 설정기울기 계산: 손실 함수의 기울기를 계산업데이트: 기울기의 반대 방향으로 파라미터를 조정반복: 위 과정을 반복하여 손.. 2024. 8. 8.
선형 회귀 (Linear Regression) _ 1 - 상관관계, pytorch 모델 코드, loss funtion 상관관계두 변수 간의 관계를 나타내는 통계적 개념이다.상관계수는 보통 -1 ~ 1 사이의 값을 가지며, 아래와 같은 의미를 갖고 있다. 1: 완벽한 양의 상관관계. 두 변수는 정확히 같은 방향으로 움직인다.0: 상관관계 없음. 두 변수 간에 선형 관계가 없습니다.-1: 완벽한 음의 상관관계. 두 변수는 정확히 반대 방향으로 움직인다.import numpy as npimport matplotlib.pyplot as plt# 두 변수의 예제 데이터x = np.array([1, 2, 3, 4, 5])y = np.array([2, 4, 6, 8, 10]) # x의 값에 대해 완벽한 양의 상관관계를 가짐# 상관계수 계산corr_matrix = np.corrcoef(x, y)corr_coefficient = co.. 2024. 8. 8.
Day - 04 강의Linear Regression 학습 내용pandas 를 이용한 데이터 로드상관관계 분석선형회귀 모델 코드 구현손실함수데이터 표준화확률적 경사하강법 Daily study손실함수데이터 표준화확률적 경사하강법 회고차근차근 2024. 8. 8.

티스토리툴바