의료 AI17 [01 X-ray Hand] - U-Net3++ UNet3+는 전통적인 UNet 모델의 한계를 극복하고자 제안된 세분화 모델이다. 특히 의료 이미지와 같은 고해상도 데이터에서 더욱 정교한 경계와 세부 정보를 보존하기 위해 설계되었다. 이 모델은 다중 스킵 연결(Multi-scale Skip Connection)과 복합 기능 집계(Deep Supervision)를 활용해 기존 UNet보다 뛰어난 성능을 보인다. UNet3+의 구조적 특징다중 스킵 연결 (Full-scale Skip Connection)UNet3+는 다양한 스케일의 정보를 병합하는 독창적인 스킵 연결을 도입했다. 기존 UNet은 단순히 인코더와 디코더 간의 동일한 레벨에서만 스킵 연결을 사용했지만, UNet3+는 더 많은 스케일의 피처 맵을 동시에 활용한다.이를 통해 지역적 세부 정보와 .. 2024. 11. 22. [꼬꼬무] - PyTorch 에서 메모리 부족할때 해결하는 방법! (Autocast, GradScaler) Autocast와 GradScaler딥러닝 모델을 학습할 때, 특히 GPU를 사용할 경우 메모리 효율성과 연산 속도를 개선하는 것이 매우 중요하다. 이때 PyTorch에서 제공하는 Autocast와 GradScaler는 메모리 사용량을 줄이고 학습 성능을 최적화하는 데 효과적이다. 이 글에서는 Autocast와 GradScaler의 원리를 설명하고, 이를 활용한 코드와 적용 사례를 알아보자. Autocast의 원리Autocast는 PyTorch에서 제공하는 기능으로, Mixed Precision Training(혼합 정밀도 학습)을 구현한다. 그러면 Mixed Precision Training 이게 무엇인가??딥러닝 연산에서 일부를 FP32(32-bit floating point) 대신 FP16(16-b.. 2024. 11. 21. DeepLab v1 아키텍쳐 분석 DeepLab v1 아키텍쳐DeepLab v1은 딥러닝 기반의 이미지 분할 네트워크로, Dilated Convolution과 업샘플링(Bilinear Interpolation)을 활용하여 높은 해상도를 유지하면서도 넓은 수용 영역(Receptive Field)을 확보한다. 주요 구성 요소1. conv1 ~ conv4기본적인 합성곱과 ReLU 활성화 함수로 이루어져 있다.팽창율(Dilation Rate): 1MaxPooling을 통해 공간 크기를 줄인다.2. conv5팽창율(Dilation Rate): 2넓은 수용 영역을 확보하기 위해 팽창 합성곱 사용MaxPooling과 AvgPooling 적용3. FC6와 FC7 (Fully Convolutional Layers)FC6: 팽창율(Dilation Rate.. 2024. 11. 20. [05] - Receptive Field 를 확장시킨 모델 (DeepLab v1, DeepLab v2) Receptive Field 란??Receptive field는 신경망에서 특정 뉴런이 입력 데이터(예: 이미지)에서 보는 영역을 의미한다. 예를 들어, 이미지의 한 픽셀을 처리하는 뉴런이 주변 3×3 영역을 참조한다면, 이 3×3 영역이 해당 뉴런의 receptive field이다. 이는 입력 데이터를 이해하고 정보를 추출하는 데 매우 중요한 개념이다.Receptive Field가 작은 경우이미지에서 빨간 점을 중심으로 segmentation을 수행할 때, 작은 receptive field는 새의 일부 정보만 포함한다.결과적으로, 모델이 전체 문맥이나 객체의 구조를 이해하지 못하고, 부분적인 정보에만 의존하여 정확도가 떨어질 수 있다. Receptive Field가 큰 경우반대로, 큰 receptive.. 2024. 11. 19. 이전 1 2 3 4 5 다음
