AI/딥러닝15 Pytorch에서 Learning Rate(LR) 스케줄링 다양한 기법 딥러닝 모델을 학습할 때, 학습률(Learning Rate)은 학습 성능에 큰 영향을 미칩니다. 학습률을 잘못 설정하면 학습이 너무 느리거나, 최적화 과정에서 손실함수가 발산할 수 있습니다. 이를 해결하기 위해 학습 중에 학습률 스케줄링 기법을 사용하여 학습률을 점진적으로 조절하는 방법이 있습니다.이번 포스팅에서는 8가지 대표적인 학습률 스케줄링 기법에 대해 설명합니다. 각 기법의 개념과 PyTorch에서 사용하는 방법을 함께 소개할게요. 1. StepLR 개념StepLR은 일정한 주기마다 학습률을 일정 비율로 감소시키는 방식입니다. 예를 들어, 매 10 에폭마다 학습률을 50%씩 줄이도록 설정할 수 있습니다. 학습 초기에는 큰 학습률로 빠르게 최적화하고, 후반부로 갈수록 더 작은 학습률로 세밀한 조정을.. 2024. 9. 30. SVM(Support Vector Machine) 이란? [R-CNN] 1. SVM 이란??SVM, 즉 Support Vector Machine은 지도 학습(Supervised Learning)의 한 종류로,주어진 데이터를 기반으로 새로운 데이터를 분류하는 데 사용되는 강력한 알고리즘입니다.이 모델은 기본적으로 데이터를 분류할 수 있는 최적의 경계(또는 선)를 찾는 일을 합니다.2. SVM의 기본 아이디어는 최적의 경계를 찾는 것!SVM은 두 클래스 사이의 Decision Boundary(결정 경계)를 찾습니다. 이 경계는 데이터를 가장 잘 분리할 수 있는 선을 의미합니다.예를 들어,키와 몸무게라는 두 가지 특징을 데이터를 이용해 사람들을 "운동 선수"와 "비운동 선수"로 분류하려고 합니다. 각 사람의 키와 몸무게는 좌표 평면에 점으로 나타낼 수 있습니다. SVM은 이 점들.. 2024. 9. 3. Bottom-up Region Proposals 이란? [R-CNN] 컴퓨터 비전에서 객체 검출(Object Detection)은 이미지에서 특정 객체의 위치를 찾아내고,그 객체가 무엇인지를 식별하는 복잡한 작업입니다. 하지만 이미지 전체를 대상으로 모든 가능한 위치에서 객체를 찾으려면, 그 계산 비용은 엄청나게 커지게 됩니다.바로 이 문제를 해결하기 위해 등장한 개념이 Region Proposals 입니다.그 중에서도 오늘 이야기할 주제는 Bottom-up Region Proposals 입니다. 이 블로그는 R-CNN 논문에서 연결되는 개념입니다.1. Region Proposals란 무엇인가요? 간단히 말해, Region Proposals(영역 제안)은 이미지에서 객체가 있을 가능성이 높은 후보 영역을 찾아내는 과정입니다. 이러한 영역 제안은 객체 검출 과정에서 중요한 .. 2024. 9. 3. [Ch.02] 01 - CNN 모델 만들기 part 1 챕터 1 에서는 딥러닝이 무엇인가 그리고 신경망 모델을 통해서 간단한 학습 코드를 했습니다. 챕터 2 에서는 유명한 CNN 모델에 대해서 이야기 할까 합니다. 실제 수많은 이미지를 분류하는 모델로써 현재 딥러닝 발전에 많은 영향을 미쳤습니다. 1. CNN 은 무엇인가? 만약 4K UHD (840만개 픽셀) 이미지를 인공신경망으로 처리하려면 층마다 840만개 가중치가 필요합니다. 하지만 컴퓨터 계산하기에는 무리가 있고 이를 해결하고자 합성곱 (Convolution)을 만들게 됩니다. 합성곱 (Convolution) 을 간단하게 이야기 하면, 작은 필터를 이용해 이미지로 부터 특징을 추출해내는 방법 입니다. 예를 들어 아래 이미지를 학습한다고 했을 때, 이미지는 RGB 3개의 채널로 이루어져 있는데, 여기서.. 2023. 1. 4. 이전 1 2 3 4 다음
