딥러닝 모델 파일은 다양한 확장자로 저장되며, 각각의 파일은 목적과 사용 환경에 따라 다르게 활용된다. 이번 글에서는 .pt, .pth, .mar,.onnx 확장자 파일의 차이점과 용도에 대해 자세히 알아보자.1. .pt 파일: PyTorch 모델의 범용적인 저장 형식 .pt는 PyTorch에서 학습된 모델의 범용적인 저장 형식으로 사용된다.주로 모델의 전체 구조와 가중치, 또는 가중치만을 저장할 때 쓰이며, 파일 이름에서 바로 모델과 관련된 파일임을 직관적으로 알 수 있다. 주요 특징직관적인 확장자.pt는 "PyTorch Model"을 의미하며, 직관적으로 PyTorch 모델 파일임을 나타낸다.전체 모델 저장 가능PyTorch 모델의 전체 구조(아키텍처)와 학습된 가중치를 함께 저장할 수 있다.범용성모..

TorchServe는 PyTorch 모델을 프로덕션 환경에 배포하기 위한 툴이다. 이를 통해 모델을 REST API 형태로 제공할 수 있으며, 모델 추론을 위한 서버를 쉽게 구성할 수 있다. TorchServe는 확장성이 뛰어나고, 다양한 모델 서빙 기능을 지원하며, 실시간 추론과 배치 추론 모두를 처리할 수 있다. 우선 TorchSerrve 상세한 사용법은 아래 공식 git 링크에 잘 나와 있다. GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in productionServe, optimize and scale PyTorch models in production - pytorch/servegithub.com 환경셋팅과 간단한 모델로 ..

Serving 의 구성우선 Serving 은 크게 아래와 같은 구성으로 이루어진다. 1) 예측 서버머신러닝 모델이 실제로 배치되어 예측을 수행하는 역할을 담당한다. 2) 데이터베이스예측 서버에서 생성된 결과를 저장하고, 서비스 서버가 이를 활용할 수 있도록 제공한다. 3) 서비스 서버사용자와 직접 상호작용하는 부분으로, 사용자 요청에 따라 데이터를 가져와 결과를 반환한다. 이 구성은 머신러닝 시스템 설계에서 기본적인 패턴으로, 배치(Batch) 또는 실시간(Online) 서빙에서 모두 활용될 수 있다. 상황에 따라 각 컴포넌트를 조정하여 더 최적화된 구조를 설계할 수 있다. 이제 Serving 종류에 대해서 알아보자. Batch 패턴우선 상황을 예시로 하나씩 살펴보자.상황  영화 추천 모델을 개발 완료한..

Serving 이란?Serving이란 머신러닝 모델을 실제 운영 환경(production)에서 사용할 수 있도록 배포하는 작업을 의미한다. 이는 모델이 연구 및 개발 환경에서 성공적으로 학습된 이후, 실제 서비스에서 활용되도록 하는 과정이다. Serving의 주요 목표는 모델을 서비스화하여 실시간으로 데이터를 처리하거나 예측 결과를 제공하는 것이다.즉, Input 값을 Model에게 주입하면 모델이 Output 변환하여 반환 하는 것을 말한다. Serving 종류1. Batch ServingBatch Serving은 데이터를*일정한 묶음 단위(batch)로 처리하여 결과를 제공하는 방식이다. 특정 시간 간격으로 데이터가 수집된 후, 한 번에 예측 작업을 수행한다. 일상적인 예시로는, 하루 동안의 주문 데..