딥러닝 (Deep Learning)/[07] - Serving

쿠브플로우(Kubeflow)는 머신러닝 파이프라인을 Kubernetes 위에서 자동화하고 확장 가능하게 만드는 도구이다.하지만 개념이 어렵게 느껴질 수 있으므로, "피자 가게"에 비유해서 쉽게 설명해보겠다.1️⃣ 피자 가게와 ML 모델 개발의 공통점(1) 피자 가게 운영 흐름 🍕재료 준비 → 밀가루 반죽, 치즈, 토핑 등 준비피자 만들기 → 반죽에 소스를 바르고 토핑 추가오븐에 굽기 → 일정한 온도와 시간 설정포장 및 배달 → 완성된 피자를 고객에게 전달리뷰 및 개선 → 고객 피드백을 받고 더 맛있는 피자를 연구(2) 머신러닝 모델 개발 흐름 🤖데이터 준비 → 데이터를 수집하고 전처리모델 학습 → 학습 데이터로 모델을 훈련모델 평가 → 모델이 잘 작동하는지 테스트모델 배포 → API로 배포하여 서비스..

MLflow 란?MLflow는 머신러닝 실험을 체계적으로 관리할 수 있도록 설계된 오픈소스 플랫폼이다. 주로 다음 네 가지 핵심 기능을 제공한다. 1) MLflow Tracking모델 학습 과정에서 사용된 하이퍼파라미터, 메트릭, 모델 가중치, 이미지 등 을 기록하고 시각화할 수 있다. 2) MLflow Projects코드와 환경을 체계적으로 정리하여 재현 가능성을 높이는 기능이다. 3) MLflow Models학습된 모델을 다양한 포맷으로 저장하고, 이후 로드하여 쉽게 배포할 수 있도록 한다. 4) MLflow Registry모델 버전을 관리하고, 배포 전후의 단계를 추적하는 기능이다. 이러한 기능을 통해 MLflow는 실험 관리를 자동화하고, 체계적으로 비교할 수 있도록 도와준다. mlflow 는 w..

딥러닝 모델 파일은 다양한 확장자로 저장되며, 각각의 파일은 목적과 사용 환경에 따라 다르게 활용된다. 이번 글에서는 .pt, .pth, .mar,.onnx 확장자 파일의 차이점과 용도에 대해 자세히 알아보자.1. .pt 파일: PyTorch 모델의 범용적인 저장 형식 .pt는 PyTorch에서 학습된 모델의 범용적인 저장 형식으로 사용된다.주로 모델의 전체 구조와 가중치, 또는 가중치만을 저장할 때 쓰이며, 파일 이름에서 바로 모델과 관련된 파일임을 직관적으로 알 수 있다. 주요 특징직관적인 확장자.pt는 "PyTorch Model"을 의미하며, 직관적으로 PyTorch 모델 파일임을 나타낸다.전체 모델 저장 가능PyTorch 모델의 전체 구조(아키텍처)와 학습된 가중치를 함께 저장할 수 있다.범용성모..

TorchServe는 PyTorch 모델을 프로덕션 환경에 배포하기 위한 툴이다. 이를 통해 모델을 REST API 형태로 제공할 수 있으며, 모델 추론을 위한 서버를 쉽게 구성할 수 있다. TorchServe는 확장성이 뛰어나고, 다양한 모델 서빙 기능을 지원하며, 실시간 추론과 배치 추론 모두를 처리할 수 있다. 우선 TorchSerrve 상세한 사용법은 아래 공식 git 링크에 잘 나와 있다. GitHub - pytorch/serve: Serve, optimize and scale PyTorch models in productionServe, optimize and scale PyTorch models in production - pytorch/servegithub.com 환경셋팅과 간단한 모델로 ..

Serving 의 구성우선 Serving 은 크게 아래와 같은 구성으로 이루어진다. 1) 예측 서버머신러닝 모델이 실제로 배치되어 예측을 수행하는 역할을 담당한다. 2) 데이터베이스예측 서버에서 생성된 결과를 저장하고, 서비스 서버가 이를 활용할 수 있도록 제공한다. 3) 서비스 서버사용자와 직접 상호작용하는 부분으로, 사용자 요청에 따라 데이터를 가져와 결과를 반환한다. 이 구성은 머신러닝 시스템 설계에서 기본적인 패턴으로, 배치(Batch) 또는 실시간(Online) 서빙에서 모두 활용될 수 있다. 상황에 따라 각 컴포넌트를 조정하여 더 최적화된 구조를 설계할 수 있다. 이제 Serving 종류에 대해서 알아보자. Batch 패턴우선 상황을 예시로 하나씩 살펴보자.상황  영화 추천 모델을 개발 완료한..

Serving 이란?Serving이란 머신러닝 모델을 실제 운영 환경(production)에서 사용할 수 있도록 배포하는 작업을 의미한다. 이는 모델이 연구 및 개발 환경에서 성공적으로 학습된 이후, 실제 서비스에서 활용되도록 하는 과정이다. Serving의 주요 목표는 모델을 서비스화하여 실시간으로 데이터를 처리하거나 예측 결과를 제공하는 것이다.즉, Input 값을 Model에게 주입하면 모델이 Output 변환하여 반환 하는 것을 말한다. Serving 종류1. Batch ServingBatch Serving은 데이터를*일정한 묶음 단위(batch)로 처리하여 결과를 제공하는 방식이다. 특정 시간 간격으로 데이터가 수집된 후, 한 번에 예측 작업을 수행한다. 일상적인 예시로는, 하루 동안의 주문 데..