Pseudo 라벨링은 반지도 학습(Semi-supervised Learning)의 한 기법이다. 이 방법은 모델이 예측한 결과를 기반으로*라벨이 없는 데이터(unlabeled data)에 임시 라벨을 할당하여 학습에 활용하는 방식이다. Pseudo 라벨링은 특히 라벨링 비용이 높은 상황에서 데이터 효율성을 극대화하는 데 유용하다.왜 Pseudo 라벨링을 사용하는가?라벨링 비용 절감데이터에 라벨을 직접 붙이는 작업은 많은 비용과 시간이 소요된다. Pseudo 라벨링은 모델의 예측 결과를 사용하여 라벨링 작업을 간소화한다.데이터 활용 극대화라벨이 없는 데이터도 학습에 포함할 수 있어, 전체 데이터셋의 크기를 증가시킨다. 이를 통해 모델의 일반화 성능을 높일 수 있다.모델 성능 개선모델이 학습 데이터를 더 많..

K-Fold 구분 1. K-Fold 교차 검증K-Fold 교차 검증은 데이터를*K개의 동일한 크기의 부분집합(Fold*으로 나누어 모델을 평가하는 방법이다. 이 방법은 데이터의 불균형을 방지하고, 모델의 일반화 성능을 향상시키기 위해 사용된다. 과정데이터를 K개의 Fold로 나눈다.각 Fold를 한 번씩 검증 데이터로 사용하며, 나머지 Fold는 훈련 데이터로 사용한다.이 과정을 K번 반복하여, K개의 모델을 학습하고 각각의 성능을 측정한다.최종적으로 K개의 결과를 평균 내어 모델의 일반화 성능을 평가한다.장점모든 데이터가 훈련 및 검증에 사용되므로 데이터 낭비가 없다.데이터가 고르게 검증되기 때문에 일반화 성능 평가에 효과적이다.단점반복적으로 모델을 학습해야 하므로 계산 비용이 높다. 2. Strati..

UNet3+는 전통적인 UNet 모델의 한계를 극복하고자 제안된 세분화 모델이다. 특히 의료 이미지와 같은 고해상도 데이터에서 더욱 정교한 경계와 세부 정보를 보존하기 위해 설계되었다. 이 모델은 다중 스킵 연결(Multi-scale Skip Connection)과 복합 기능 집계(Deep Supervision)를 활용해 기존 UNet보다 뛰어난 성능을 보인다. UNet3+의 구조적 특징다중 스킵 연결 (Full-scale Skip Connection)UNet3+는 다양한 스케일의 정보를 병합하는 독창적인 스킵 연결을 도입했다. 기존 UNet은 단순히 인코더와 디코더 간의 동일한 레벨에서만 스킵 연결을 사용했지만, UNet3+는 더 많은 스케일의 피처 맵을 동시에 활용한다.이를 통해 지역적 세부 정보와 ..

Autocast와 GradScaler딥러닝 모델을 학습할 때, 특히 GPU를 사용할 경우 메모리 효율성과 연산 속도를 개선하는 것이 매우 중요하다. 이때 PyTorch에서 제공하는 Autocast와 GradScaler는 메모리 사용량을 줄이고 학습 성능을 최적화하는 데 효과적이다. 이 글에서는 Autocast와 GradScaler의 원리를 설명하고, 이를 활용한 코드와 적용 사례를 알아보자. Autocast의 원리Autocast는 PyTorch에서 제공하는 기능으로, Mixed Precision Training(혼합 정밀도 학습)을 구현한다. 그러면 Mixed Precision Training 이게 무엇인가??딥러닝 연산에서 일부를 FP32(32-bit floating point) 대신 FP16(16-b..

DeepLab v1 아키텍쳐DeepLab v1은 딥러닝 기반의 이미지 분할 네트워크로, Dilated Convolution과 업샘플링(Bilinear Interpolation)을 활용하여 높은 해상도를 유지하면서도 넓은 수용 영역(Receptive Field)을 확보한다. 주요 구성 요소1. conv1 ~ conv4기본적인 합성곱과 ReLU 활성화 함수로 이루어져 있다.팽창율(Dilation Rate): 1MaxPooling을 통해 공간 크기를 줄인다.2. conv5팽창율(Dilation Rate): 2넓은 수용 영역을 확보하기 위해 팽창 합성곱 사용MaxPooling과 AvgPooling 적용3. FC6와 FC7 (Fully Convolutional Layers)FC6: 팽창율(Dilation Rate..

Receptive Field 란??Receptive field는 신경망에서 특정 뉴런이 입력 데이터(예: 이미지)에서 보는 영역을 의미한다. 예를 들어, 이미지의 한 픽셀을 처리하는 뉴런이 주변 3×3 영역을 참조한다면, 이 3×3 영역이 해당 뉴런의 receptive field이다. 이는 입력 데이터를 이해하고 정보를 추출하는 데 매우 중요한 개념이다.Receptive Field가 작은 경우이미지에서 빨간 점을 중심으로 segmentation을 수행할 때, 작은 receptive field는 새의 일부 정보만 포함한다.결과적으로, 모델이 전체 문맥이나 객체의 구조를 이해하지 못하고, 부분적인 정보에만 의존하여 정확도가 떨어질 수 있다. Receptive Field가 큰 경우반대로, 큰 receptive..

SegNet은 이미지 분할 문제를 해결하기 위해 개발된 합성곱 신경망(CNN) 기반의 모델이다. SegNet은 주로 실시간 세그멘테이션에 초점을 맞추어 설계되었으며, U-Net과 같은 목적을 지니고 있지만 더 가볍고 효율적인 구조를 가지고 있다. 이 모델은 Enet 및 FCN과 같은 다른 세그멘테이션 모델들과 비교하여, 인코더-디코더 구조를 채택하고 있으며, 이를 통해 공간 정보를 유지하면서 효율적으로 이미지 분할을 수행할 수 있다.SegNet의 아키텍처SegNet은 크게 인코더(Encoder)와 디코더(Decoder)로 구성된 아키텍처이다. 이 아키텍처는 VGG16에서 영감을 받은 인코더 구조를 사용하지만, 주로 특징을 추출한 후 그 특징을 복원하는 방식으로 설계되었다. 인코더는 이미지를 점점 작게 만..

학습률(Learning Rate, LR)은 딥러닝 모델의 최적화를 위해 매우 중요한 하이퍼파라미터이다. 학습률은 모델이 각 반복(iteration)마다 가중치를 얼마나 크게 업데이트할지를 결정하며, 적절한 값을 선택하지 않으면 학습 속도와 성능에 큰 영향을 미친다. 이번 글에서는 학습률의 종류와 설정 방법에 대해 정리한다.고정 학습률(Fixed Learning Rate)고정 학습률은 학습 과정에서 변하지 않는 일정한 값을 사용하는 방법이다. 학습이 단순한 경우나 데이터가 안정적일 때 사용되며, 설정이 간단하다는 장점이 있다. 그러나 학습 초기에 과도하게 큰 값으로 설정되면 학습이 불안정해지고, 너무 작은 값으로 설정하면 학습 속도가 느려질 수 있다.장점: 설정이 간단하고 구현이 쉬움.단점: 학습 과정에 ..

Ensemble 이란?Ensemble이란 여러 개의 모델을 조합하여 단일 모델보다 더 나은 성능을 달성하려는 기법을 말한다. 머신러닝 및 딥러닝에서, 서로 다른 모델이나 같은 구조의 모델을 조합하면 단일 모델의 한계를 보완하고, 더 일반화된 예측 성능을 얻을 수 있다.Segmentation에서 ensemble을 활용하면 서로 다른 모델의 예측 결과를 조합하여 성능을 향상시킬 수 있다. 이번 글은 segmentation에 사용할 수 있는 ensemble 기법들을 소개하겠다.기본 Ensemble  1. Majority Voting (Pixel-wise Voting)Majority Voting (Pixel-wise Voting)는 Segmentation 작업에서 각 픽셀 단위로 여러 모델의 출력 결과를 조합하..