MLOps with Joinc - Kubeflow 설치

Recommanded Free YOUTUBE Lecture: Learning and Hacking VPC

yundream
2025-03-09
2025-03-09
797

MLOps

MLOps(Machine Learning Operations)는 머신러닝 모델을 효율적으로 개발, 배포, 운영, 관리하기 위한 방법론, 프로세스, 관행을 의미한다. DevOps, Data Engineering, ML Engineering 의 개념을 결합하여 자동화, 재현성, 관측가능성(모니터링) 을 강화하는 것이 핵심 목표다.

MLOps 의 주요 개념

머신러닝은 대량의 데이터를 이용해서 장시간의 작업을 반복적으로 해야 한다. MLOps를 통해서 반복적인 수작업을 줄여서 모델 배포 속도를 높여서 변화하는 환경에 신속하게 대응 할 수 있다. 여기에는 데이터 준비, 전처리, 모델 학습, 검증, 서빙(배포)의 모든 과정의 자동화를 포함하여 효과적이고 지속적인 모델 개선이 가능한 환경을 만든다.

많은 개념들이 나올 건데, 이런게 있구나 하고 가볍게 훑고 지나가면 된다.

자동화(Automation)

데이터 준비, 모델 학습, 검증, 배포, 모니터링의 전체 과정을 자동화하여 일관된 워크플로우를 구축한다.
CICD 파이프라인과 통합하여 모델을 신속하게 프로덕션에 반영 할 수 있다.

재현성(Reproductibility)

DVC(데이터 버전 관리) , 모델 및 실험의 추적 등을 통해 재현 가능한 실험 환경을 유지한다.
컨테이너(Docker, Kubernetes)등의 환경을 활용하여 모델을 일관되게 개발하고 배포 할 수 있다.

관측가능성

모델의 성능저하(Drift Detection) , 데이터 품질 검증(Data Validation), 이상 감지(Anomaly Detection) 등을 모니터링하여 지속적으로 모델을 관리 한다.
프로덕션에 배포된 모델을 모니터링하고, 필요하면 재학습 및 재배포를 자동화 한다.

MLOps 파이프라인의 모습

MLOps
MLOps 파이프라인의 전체 모습을 조망해보자.

Orchestrated experiment

개발자 및 데이터 사이언티스가 ML 모델 개발 및 실험을 하는 영역이다.

Data Validation: 데이터의 정합성을 확인하여 모델 학습에 적절한지 검증한다.
Data Preparation: 데이터 정제, 정규화, 피처 엔지니어링 등을 수행한다.
Model Training: ML/DL 모델을 학습한다
Model Evaluation: 학습한 모델의 성능을 평가하고 지표를 레포팅(정확도, F1-Score) 한다.
Model Validation: 모델이 배포 가능한 품질을 갖추었는지를 검증한다.
Model Analysis: 모델의 동작을 분석하고 개선점을 찾는다.

소스코드 관리 및 배포

데이터 중심이라는 것을 제외하면 애플리케이션 개발 프로세스와 큰 차이는 없다. 이를 위한 코드 관리 및 배포 과정이 필요하다.

Source Code & Source Repository: 모델 학습 코드 및 MLOps 관련 코드를 저장하고 버전을 관리한다.
Pipeline deployment: 모델을 자동화된 ML 파이프라인에 배포하여, 운영 환경에서 작도앟도록 한다.

Automated Pipeline(자동화된 파이프라인)

Data Extraction: Feature Store에서 Feature와 데이터를 가져온다
Data Validation: 데이터의 품질 검사를 수행한다.
Data Preparation: 데이터를 정리하고 변환한다.
Model Training: ML 모델 학습을 수행한다.
Model Evaluation & Validation: 모델의 성능을 평가하고 기준을 만족하면 배포할 준비를 한다.

Model Registry & Continuous Deployment

데이터로 부터 모델을 만들었다면, 이제 이 모델을 배포해야 할 것이다. CICD에서 CD(Continues Delivery) 부분이다.

Model Registry: 검증된 모델을 저장하고 버전 관리를 수행한다.
Model Serving: 모델을 프로덕션 환경에 배포하여 사용자에게 서비스 한다.

Prediction Service & Performance Monitoring

Prediction Service: 배포된 모델이 실시간 또는 배치 방식으로 작업을 수행한다.
Performance Monitoring: 모델의 성능을 지속적으로 모니터링하여 데이터 드리프트, 성능 저하 등을 감지하고 대응한다.

MLOps 기술 스택

DevOps가 ML 영역으로 확장된 개념이기 때문에 기술 스택의 많은 부분들이 DevOps와 겹친다. DevOps 경험이 있다면 쉽게 개념을 이해하고 기술 스택을 자신의 것으로 만들 수 있을 것이다.
MLOps Tech Stack

MLOps의 주요 기술 스택에 대해서 알아보자.

버전관리: Git, DVC, MLFlow, KubeFlow
모델 관리: MLflow, Weights & Biases, KubeFlow
CI/CD: GitHub Action, GitLab CI/CD, Jenkins
배포 및 서빙: Docker, Kubernetes, FastAPI, TensorFlow Serving
모니터링: Prometheus, Grafana, Evidently AI
데이터 수집에서, 서빙/모니터링까지를 다루기 때문에 다양한 기술들이 사용되는 것을 알 수 있다. MLOps는 머신러닝과 서빙에 필요한 GPU 인프라, 웹 애플리케이션 서비스에 필요한 CPU 인프라, 애플리케이션 개발/배포/모니터링 광범위한 영역에 대한 정보가 필요하다. 한마디로 DevOps + 머신러닝 이라고 볼 수 있다.

따라서 툴 한 두개 배웠다고 할 수 있는 것이 아니다. "하나의 여정"이라고 생각하면 된다. 여기에서는 Kubeflow 를 기준으로 MLOps를 살펴볼 생각이다.

Kubeflow

Kubeflow는 쿠버네티스(Kubernetes) 기반의 MLOps 플랫폼 으로 머신러닝 모델의 개발, 학습, 배포, 모니터링을 자동화할 수 있도록 지원하는 오픈 소스 프로젝트이다. 원래는 Google이 TensorFlow 모델을 쿠버네티스에서 쉽게 실행하기 위해서 개발했지만, 현재는 PyThorch, XGBoost 등 다양한 프레임워크를 지원하는 범용 MLOps 플랫폼으로 발전했다.

Kubeflow

Kubeflow는 Kubernetes를 기반으로 하여, GPU, TPU, CPU에 대한 관리, 격리, 모니터링, 할당은 Kubernetes에 위임하고 모델의 관리/개발/배포에 집중하게 된다.

Kubeflow 파이프라인

Kubeflow Pipeline

Kubeflow는 데이터 준비에서 훈련, 패키징의 전 과정을 지원한다. 이 중 모델 훈련과 테스트에는 GPU가 필요하므로 NVIDIA GPU를 지원하는 도커 런타임이 설치되어 있어야 한다.

Kubeflow 핵심 기능

여기에서는 주요 기능을 간단히 나열 할 것이다. 자세한 내용은 실제 설치하고 모델을 돌리면서 살펴볼 것이다.

**파이프라인(Kubeflow Pipelines, KFP)

머신러닝 워크플러우를 컨테이너 기반으로 자동화
단계별 실행, 실패시 재시도, 파라미터 튜닝 등 지원
GUI 대시보드를 통해 워크플로우 관리

Jupyter Notebook 관리

쿠버네티스위에 Jupyter Notebook을 손쉽게 생성 및 관리
개발자 및 데이터 사이언티스트간 협력 촉진

분산 학습(Kubeflow training Operators

TensorFlow, PyTorch, XGBoost 등의 분산학습을 지원
Horovod 등을 활용한 멀티 GPU 학습

모델 서빙(Kuberflow Serving)

KServe(KFServing) 를 통해 모델을 실시간 서빙
TensorFlow Serving, TorchServe, Triton Inference Server 등의 서빙 엔진 지원
오토 스케일링, A/B 테스트, Canary 배포 지원

실험 및 모델 관리(ML Metadata, Katib)

실험 결과를 추적 및 저장
Katib를 활용하여 자동화된 하이퍼파라미터 최저화 지원

Kubeflow를 사용하는 이유

쿠버네티스 환경에 최적화되어 있어서 클라우드/온-프레미스에 상관없이 사용 할 수 있다. 초기 설정이 다소 복잡하다는 단점이 있기는 하지만, 기능 측면에서도 부족함이 없는 툴이다.

기능	Kubeflow	MLflow	SageMaker	Vertex AI
쿠버네티스 기반	✅	❌	❌	✅
ML 파이프라인	✅	✅	✅	✅
하이퍼파라미터 튜닝	✅	✅	✅	✅
모델 서빙	✅	일부 지원	✅	✅
모니터링	✅	✅	✅	✅

Kubeflow 테스트 환경

아래와 같은 사양의 로컬 PC에서 Kubeflow를 설치하고 테스트할 것이다.

운영체제: Ubuntu 24.10
Docker Engine: 27.4.0
CPU: AMD Ryzen 5 5600X 6-Core Processor
RAM: 32G
GPU: NVIDIA GeForce RTX 4060 VRAM 16G
Kubernetes: Minikube를 이용해서 로컬 PC에 쿠버네티스 환경을 구성한다

NVIDIA GPU 드라이버 설치하기

🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

우분투 리눅스에서는 ubuntu-drivers 를 이용해서 최적의 드라이버를 자동으로 추천하고 설치 할 수 있다.

sudo ubuntu-drivers autoinstall

이 명령을 내리면 시스템에 맞는 최적의 NVDIA 드라이버를 자동으로 설치한다. 설치 후에는 시스템을 재부팅한다.

설치가 완료되면 nvidia-smi 명령을 이용해서 GPU가 제대로 인식되는지 확인 할 수 있다.

$ nvidia-smi
Sun Mar  9 14:27:58 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   43C    P8             20W /  165W |     464MiB /  16380MiB |     12%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

NVIDIA Container Toolkit 설치

🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

Installing the NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

저장소를 업데이트 한다.

sudo apt-get update

NVIDIA Container Toolkit 패키지를 인스톨 한다.

sudo apt-get install -y nvidia-container-toolkit

도커를 리스타트 한다.

sudo systemctl restart docker

도커 컨테이너가 GPU를 인식하는지 테스트한다. 아래와 같이 GPU 정보가 출력되면 성공이다.

$ docker run --gpus all ubuntu nvidia-smi
Sat Mar  8 01:23:34 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   45C    P8             19W /  165W |     531MiB /  16380MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
+-----------------------------------------------------------------------------------------+

Minikube

Kubeflow를 사용하기 위해서는 쿠버네티스 클러스터가 있어야 하는데, minikube를 이용하면 개인 PC에도 간단하게 쿠버네티스 환경을 구성 할 수 있다.

여기에서는 Minikube 설치를 위한 최소한만 소개한다. Minikube와 Kubernetes에 대해서 자세히 알고 싶다면 Minikube와 함께하는 Kubernetes Study 문서를 참고하자

kubectl

Minikube를 설치하려면 Kubernetes를 관리하는 kubectl 을 설치해야 한다. 우분투 리눅스에서는 아래와 같이 간단하게 설치 할 수 있다.

저장소를 등록하고

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl
curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo tee /etc/apt/trusted.gpg.d/kubernetes.asc

kubectl 패키지를 설치한다.

sudo apt update
sudo apt install -y kubectl

kubectl이 잘 설치됐는지 확인해보자. 실행되면 성공이다.

$ kubectl version                                     
Client Version: v1.31.6-dispatcher
Kustomize Version: v5.4.2
Unable to connect to the server: dial tcp 192.168.49.2:8443: connect: no route to host

아직은 (minikube를 이용해서) 쿠버네티스 환경이 구성되지 않았기 때문에 connect 에러가 떨어질 것이다.

Minikube 설치

minikube를 다운로드 하고 설치한다.

curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube

버전을 확인해보자.

$ minikube version
minikube version: v1.35.0
commit: dd5d320e41b5451cdf3c01891bc4e13d189586ed-dirty

minikube를 실행한다.

 minikube start --cpus 4 --memory 8192 --disk-size=50g

minikube를 이용해서 만들어진 네트워크는 private 네트워크로, 로컬 PC에서 직접 접근 할 수 없다. minikube tunnel 명령을 이용해서 로컬에서 접근 가능하도록 한다.

$ minikube tunnel
Status:
        machine: minikube
        pid: 114312
        route: 10.96.0.0/12 -> 192.168.39.132
        minikube: Running
        services: []
    errors: 
                minikube: no errors
                router: no errors
                loadbalancer emulator: no errors

kubectl을 이용해서 쿠버네티스 환경이 잘 만들어졌는지 확인한다.

$ kubectl cluster-info             
Kubernetes control plane is running at https://192.168.49.2:8443

$ kubectl get nodes                                   
NAME       STATUS   ROLES           AGE   VERSION
minikube   Ready    control-plane   21h   v1.32.0

Kubeflow

Kubeflow 설치

Kubeflow는 kubeflow/manifests 저장소를 사용하여 설치 할 수 있다.

Kustomize 설치

Kubeflow는 Kustomize 를 사용하여 배포한다. Kustomize는 Kubernetes 객체 구성을 정의하는 도구다. Kustomize를 이용하면 기존 Kubernetes 매니페스트 파일을 기반으로 애플리케이션 배포를 구성할 수 있다.

curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bash
sudo mv kustomize /usr/local/bin/

Kubeflow Manifest 다운로드

git clone https://github.com/kubeflow/manifests.git
git checkout v1.8.0
cd manifests

설치 및 실행

kubeflow 배포를 위해서 "kubeflow" 네임스페이스를 만든다.

kubectl create namespace kubeflow

kustomize를 이용해서 kubeflow를 설치한다.

while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done

Kubeflow 상태 확인

$ kubectl get pods -n kubeflow

NAME                                                     READY   STATUS    RESTARTS         AGE
admission-webhook-deployment-69976d468d-ldb8d            1/1     Running   1 (12h ago)      12h
cache-server-54dd59f65c-bl4q7                            2/2     Running   2 (12h ago)      12h
centraldashboard-76965b8847-469ck                        2/2     Running   2 (12h ago)      12h
jupyter-web-app-deployment-69995b57db-6ft76              2/2     Running   2 (12h ago)      12h
katib-controller-78f4cbc88f-lgwh7                        1/1     Running   2 (2m36s ago)    12h
katib-db-manager-5ddf8fd5f4-b6pfr                        1/1     Running   10 (48s ago)     12h
katib-mysql-5dfcbbc87f-qwknq                             0/1     Running   2 (12h ago)      12h
katib-ui-6887769bf8-d7zkm                                2/2     Running   2 (12h ago)      12h
kserve-controller-manager-9b9ff6875-dbbgl                2/2     Running   2 (12h ago)      12h
kserve-models-web-app-965b75bdf-8dbbt                    2/2     Running   2 (12h ago)      12h
kubeflow-pipelines-profile-controller-68469d866f-x7n7f   1/1     Running   1 (3m15s ago)    12h
metacontroller-0                                         1/1     Running   2 (2m32s ago)    12h
metadata-envoy-deployment-5f5d6986b9-trpnj               1/1     Running   1 (12h ago)      12h
metadata-grpc-deployment-76d6fb49f8-rmjkv                2/2     Running   11 (2m23s ago)   12h
metadata-writer-765c7b9664-2v92p                         2/2     Running   7 (12h ago)      12h
minio-847b65dd88-4nw2k                                   2/2     Running   2 (12h ago)      12h
ml-pipeline-64f8c78ddc-lz2cv                             2/2     Running   5 (12h ago)      12h
ml-pipeline-persistenceagent-744467d649-ggkz6            2/2     Running   2 (12h ago)      12h
ml-pipeline-scheduledworkflow-5f55545d8c-vwd82           2/2     Running   2 (12h ago)      12h
ml-pipeline-ui-776b8f4456-mfgnv                          2/2     Running   2 (3m15s ago)    12h
ml-pipeline-viewer-crd-644ddd8f94-jzcs6                  2/2     Running   5 (2m41s ago)    12h
ml-pipeline-visualizationserver-76495876dc-424sn         2/2     Running   2 (3m15s ago)    12h
mysql-767f4d9f9b-fzthf                                   2/2     Running   2 (12h ago)      12h
notebook-controller-deployment-76445ffdf9-jmt22          2/2     Running   5 (2m40s ago)    12h
profiles-deployment-576bc6dc96-4njrj                     3/3     Running   7 (2m20s ago)    12h
pvcviewer-controller-manager-6fc5985fd9-mzmrs            3/3     Running   7 (2m24s ago)    12h
tensorboard-controller-deployment-66f4ff67b9-vljbf       3/3     Running   6 (2m40s ago)    12h
tensorboards-web-app-deployment-7b78c4d6c-4sc79          2/2     Running   2 (12h ago)      12h
training-operator-549d6b4bfb-fcc8j                       1/1     Running   1 (12h ago)      12h
volumes-web-app-deployment-55cd5bbd4f-cgsdj              2/2     Running   2 (12h ago)      12h
workflow-controller-7dd7dfd785-crmgv                     2/2     Running   5 (2m37s ago)    12h

Kubeflow Dashboard

포트포워딩을 통해서 kubeflow dashboard 에 접근 할 수 있다.

kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80

localhost:8080 으로 접근한다. 기본 아이디 패스워드는 아래와 같다.

User name: user@example.com
비밀번호: 12341234

Kubeflow Dashboard

개발자 및 데이터 사이언티스트는 kubeflow를 이용해서 머신러닝 워크플로우를 시각적으로 관리하고 모니터링 할 수 있다. 사용자는 아래와 같은 일들을 할 수 있다.

Kubeflow 구성요소 관리

Notebooks: Jupyter 노트북 서버를 관리하고 생성해서 데이터 탐색, 모델 개발 및 실험을 수행 할 수 있다.
Pipelines: 머신러닝 워크플로우를 파이프라인 형태로 시각화하고 실행, 모니터링 할 수 있다.
Katib: 하이퍼파라미터 튜닝 작업을 관리하고 결과를 시각적으로 확인할 수 있다.
KFServing: 모델 서빙을 관리하고 배포된 모델의 상태를 모니터링 할 수 있다.
Volumes: Kubeflow에서 사용하는 persistant 볼륨을 관리한다
TensorBoards: 텐서보드 인스턴스를 관리하고 학습 과정을 시각화 할 수 있다.
파이프라인 실행 상태, 모델 배포 상태, 리소스 사용량 등 Kubeflow 워크플로우의 전반적인 상태를 실시간으로 모니터링 할 수 있다.

정리

오늘은 MLOps의 개념을 살펴보고 대표적인 오픈소스 MLOps 플랫폼인 Kubeflow를 설치했다. 다음 포스트에서는 Pipeline을 개발하고 간단한 ML 워크로드를 실행해보겠다.

![](https://docs.google.com/drawings/d/e/2PACX-1vQo-IhuMP_xI_-OXlExG8Q9tZeqZQTG6ZOnNb4RjDeeM4VOKyEgck_XgzNbiFsTVNxKC4JtDiMJcpmb/pub?w=726&h=388)
## MLOps
MLOps(Machine Learning Operations)는 머신러닝 모델을 효율적으로 개발, 배포, 운영, 관리하기 위한 방법론, 프로세스, 관행을 의미한다. DevOps, Data Engineering, ML Engineering 의 개념을 결합하여 **자동화**, **재현성**, **관측가능성(모니터링)** 을 강화하는 것이 핵심 목표다.

## MLOps 의 주요 개념
머신러닝은 대량의 데이터를 이용해서 장시간의 작업을 반복적으로 해야 한다. MLOps를 통해서 반복적인 수작업을 줄여서 모델 배포 속도를 높여서 변화하는 환경에 신속하게 대응 할 수 있다. 여기에는 데이터 준비, 전처리, 모델 학습, 검증, 서빙(배포)의 모든 과정의 자동화를 포함하여 **효과적이고 지속적인 모델 개선**이 가능한 환경을 만든다.

많은 개념들이 나올 건데, 이런게 있구나 하고 가볍게 훑고 지나가면 된다.
##### 자동화(Automation)
* 데이터 준비, 모델 학습, 검증, 배포, 모니터링의 전체 과정을 자동화하여 일관된 워크플로우를 구축한다.
* CICD 파이프라인과 통합하여 모델을 신속하게 프로덕션에 반영 할 수 있다.

##### 재현성(Reproductibility)
* DVC(데이터 버전 관리) , 모델 및 실험의 추적 등을 통해 재현 가능한 실험 환경을 유지한다.
* 컨테이너(Docker, Kubernetes)등의 환경을 활용하여 모델을 일관되게 개발하고 배포 할 수 있다.
##### 관측가능성
* 모델의 성능저하(Drift Detection) , 데이터 품질 검증(Data Validation), 이상 감지(Anomaly Detection) 등을 모니터링하여 지속적으로 모델을 관리 한다.
* 프로덕션에 배포된 모델을 모니터링하고, 필요하면 재학습 및 재배포를 자동화 한다.

#### MLOps 파이프라인의 모습
![MLOps](https://docs.google.com/drawings/d/e/2PACX-1vR05-wY5wkdsnggPAL8z26nCsXQfPRSlqgwc4RsR84JxTojeCVv3siyb48NfLGtGu6FTohT221w45ps/pub?w=898&h=620)
MLOps 파이프라인의 전체 모습을 조망해보자.
#### Orchestrated experiment
개발자 및 데이터 사이언티스가 ML 모델 개발 및 실험을 하는 영역이다.
* Data Validation: 데이터의 정합성을 확인하여 모델 학습에 적절한지 검증한다.
* Data Preparation: 데이터 정제, 정규화, 피처 엔지니어링 등을 수행한다.
* Model Training: ML/DL 모델을 학습한다
* Model Evaluation: 학습한 모델의 성능을 평가하고 지표를 레포팅(정확도, F1-Score) 한다.
* Model Validation: 모델이 배포 가능한 품질을 갖추었는지를 검증한다.
* Model Analysis: 모델의 동작을 분석하고 개선점을 찾는다.

#### 소스코드 관리 및 배포
데이터 중심이라는 것을 제외하면 애플리케이션 개발 프로세스와 큰 차이는 없다. 이를 위한 코드 관리 및 배포 과정이 필요하다. 
* Source Code & Source Repository: 모델 학습 코드 및 MLOps 관련 코드를 저장하고 버전을 관리한다.
* Pipeline deployment: 모델을 자동화된 ML 파이프라인에 배포하여, 운영 환경에서 작도앟도록 한다.

#### Automated Pipeline(자동화된 파이프라인)
* Data Extraction: Feature Store에서 Feature와 데이터를 가져온다
* Data Validation: 데이터의 품질 검사를 수행한다.
* Data Preparation: 데이터를 정리하고 변환한다.
* Model Training: ML 모델 학습을 수행한다.
* Model Evaluation & Validation: 모델의 성능을 평가하고 기준을 만족하면 배포할 준비를 한다.

#### Model Registry & Continuous Deployment
데이터로 부터 모델을 만들었다면, 이제 이 모델을 배포해야 할 것이다. CICD에서 **CD(Continues Delivery)** 부분이다.
* Model Registry: 검증된 모델을 저장하고 버전 관리를 수행한다.
* Model Serving: 모델을 프로덕션 환경에 배포하여 사용자에게 서비스 한다.

#### Prediction Service & Performance Monitoring
* Prediction Service: 배포된 모델이 실시간 또는 배치 방식으로 작업을 수행한다.
* Performance Monitoring: 모델의 성능을 지속적으로 모니터링하여 데이터 드리프트, 성능 저하 등을 감지하고 대응한다.

## MLOps 기술 스택
DevOps가 ML 영역으로 확장된 개념이기 때문에 기술 스택의 많은 부분들이 DevOps와 겹친다. DevOps 경험이 있다면 쉽게 개념을 이해하고 기술 스택을 자신의 것으로 만들 수 있을 것이다. 
![MLOps Tech Stack](https://www.automat-it.com/wp-content/uploads/2024/04/%D7%A6%D7%99%D7%9C%D7%95%D7%9D-%D7%9E%D7%A1%D7%9A-2024-04-26-%D7%91-8.28.57.png)

MLOps의 주요 기술 스택에 대해서 알아보자.
1. 버전관리: Git, DVC, MLFlow, **KubeFlow**
2. 모델 관리: MLflow, Weights & Biases, KubeFlow
3. CI/CD: GitHub Action, GitLab CI/CD, Jenkins
4. 배포 및 서빙: Docker, Kubernetes, FastAPI, TensorFlow Serving
5. 모니터링: Prometheus, Grafana, Evidently AI
데이터 수집에서, 서빙/모니터링까지를 다루기 때문에 다양한 기술들이 사용되는 것을 알 수 있다. MLOps는 머신러닝과 서빙에 필요한 GPU 인프라, 웹 애플리케이션 서비스에 필요한 CPU 인프라, 애플리케이션 개발/배포/모니터링 광범위한 영역에 대한 정보가 필요하다. 한마디로 DevOps + 머신러닝 이라고 볼 수 있다.

따라서 툴 한 두개 배웠다고 할 수 있는 것이 아니다. "하나의 여정"이라고 생각하면 된다. 여기에서는 **Kubeflow** 를 기준으로 MLOps를 살펴볼 생각이다.
## Kubeflow
Kubeflow는 **쿠버네티스(Kubernetes)** 기반의 **MLOps 플랫폼** 으로 머신러닝 모델의 개발, 학습, 배포, 모니터링을 자동화할 수 있도록 지원하는 오픈 소스 프로젝트이다. 원래는 Google이 TensorFlow 모델을 쿠버네티스에서 쉽게 실행하기 위해서 개발했지만, 현재는 **PyThorch, XGBoost** 등 다양한 프레임워크를 지원하는 범용 MLOps 플랫폼으로 발전했다.

![Kubeflow](https://docs.google.com/drawings/d/e/2PACX-1vStcWg3qB3wYG8MBdaG4syDDLdzCIG4U84HC-DyMYjn4Y4oEnwI0PNNsO7ddsyMfdy2JZ85Y6lBLYCp/pub?w=673&h=302)

Kubeflow는 Kubernetes를 기반으로 하여, GPU, TPU, CPU에 대한 관리, 격리, 모니터링, 할당은 Kubernetes에 위임하고 모델의 관리/개발/배포에 집중하게 된다.

##### Kubeflow 파이프라인
![Kubeflow Pipeline](https://docs.google.com/drawings/d/e/2PACX-1vSB6DQYgbgW36eZJ3jRaXeBhVGy20p-BNAsKTwZmvF2ZEwTycwTvFpIdwQiZOLDUmkExFKOCKrDbT3x/pub?w=1110&h=500)

##### Kubeflow 핵심 기능
여기에서는 주요 기능을 간단히 나열 할 것이다. 자세한 내용은 실제 설치하고 모델을 돌리면서 살펴볼 것이다.

**파이프라인(Kubeflow Pipelines, KFP)
* 머신러닝 워크플러우를 컨테이너 기반으로 자동화
* 단계별 실행, 실패시 재시도, 파라미터 튜닝 등 지원
* GUI 대시보드를 통해 워크플로우 관리

**Jupyter Notebook 관리**
* 쿠버네티스위에 Jupyter Notebook을 손쉽게 생성 및 관리
* 개발자 및 데이터 사이언티스트간 협력 촉진

**분산 학습(Kubeflow training Operators**
* TensorFlow, PyTorch, XGBoost 등의 분산학습을 지원
* Horovod 등을 활용한 멀티 GPU 학습

**모델 서빙(Kuberflow Serving)**
* KServe(KFServing) 를 통해 모델을 실시간 서빙
* TensorFlow Serving, TorchServe, Triton Inference Server 등의 서빙 엔진 지원
* 오토 스케일링, A/B 테스트, Canary 배포 지원

**실험 및 모델 관리(ML Metadata, Katib)**
* 실험 결과를 추적 및 저장
* Katib를 활용하여 자동화된 하이퍼파라미터 최저화 지원

##### Kubeflow를 사용하는 이유
쿠버네티스 환경에 최적화되어 있어서 클라우드/온-프레미스에 상관없이 사용 할 수 있다. 초기 설정이 다소 복잡하다는 단점이 있기는 하지만, 기능 측면에서도 부족함이 없는 툴이다.

| 기능         | Kubeflow | MLflow | SageMaker | Vertex AI |
| ---------- | -------- | ------ | --------- | --------- |
| 쿠버네티스 기반   | ✅        | ❌      | ❌         | ✅         |
| ML 파이프라인   | ✅        | ✅      | ✅         | ✅         |
| 하이퍼파라미터 튜닝 | ✅        | ✅      | ✅         | ✅         |
| 모델 서빙      | ✅        | 일부 지원  | ✅         | ✅         |
| 모니터링       | ✅        | ✅      | ✅         | ✅         |

## Kubeflow 테스트 환경 
아래와 같은 사양의 로컬 PC에서 Kubeflow를 설치하고 테스트할 것이다.
* 운영체제: Ubuntu 24.10 
* Docker Engine: 27.4.0
* CPU: AMD Ryzen 5 5600X 6-Core Processor
* RAM: 32G
* GPU: NVIDIA GeForce RTX 4060 VRAM 16G 
* Kubernetes: Minikube를 이용해서 로컬 PC에 쿠버네티스 환경을 구성한다

## NVIDIA GPU 드라이버 설치하기
🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

우분투 리눅스에서는 *ubuntu-drivers* 를 이용해서 최적의 드라이버를 자동으로 추천하고 설치 할 수 있다.
```
sudo ubuntu-drivers autoinstall
```

이 명령을 내리면 시스템에 맞는 최적의 NVDIA 드라이버를 자동으로 설치한다. 설치 후에는 시스템을 재부팅한다.

설치가 완료되면 *nvidia-smi* 명령을 이용해서 GPU가 제대로 인식되는지 확인 할 수 있다.
```
$ nvidia-smi
Sun Mar  9 14:27:58 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   43C    P8             20W /  165W |     464MiB /  16380MiB |     12%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

```

## NVIDIA Container Toolkit 설치
🚧 크지 않은 데이터를 이용해서 학습목적으로 MLOps를 테스트 할 경우 GPU는 필수가 아니다. GPU가 없거나 설정하기 귀찮다면 이 부분은 넘어가도 된다.

[Installing the NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)

```shell
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
```

저장소를 업데이트 한다.
```
sudo apt-get update
```

NVIDIA Container Toolkit 패키지를 인스톨 한다.
```
sudo apt-get install -y nvidia-container-toolkit
```

도커를 리스타트 한다.
```
sudo systemctl restart docker
```

도커 컨테이너가 GPU를 인식하는지 테스트한다. 아래와 같이 GPU 정보가 출력되면 성공이다.
```
$ docker run --gpus all ubuntu nvidia-smi
Sat Mar  8 01:23:34 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.135                Driver Version: 550.135        CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off |   00000000:0B:00.0  On |                  N/A |
|  0%   45C    P8             19W /  165W |     531MiB /  16380MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
+-----------------------------------------------------------------------------------------+

```

## Minikube
Kubeflow를 사용하기 위해서는 쿠버네티스 클러스터가 있어야 하는데, **minikube**를 이용하면 개인 PC에도 간단하게 쿠버네티스 환경을 구성 할 수 있다.

여기에서는 Minikube 설치를 위한 최소한만 소개한다. Minikube와 Kubernetes에 대해서 자세히 알고 싶다면 [Minikube와 함께하는 Kubernetes Study 문서를 참고하자](https://www.joinc.co.kr/w/kubernetes_minikube_index) 
#### kubectl 
Minikube를 설치하려면 Kubernetes를 관리하는 **kubectl** 을 설치해야 한다. 우분투 리눅스에서는 아래와 같이 간단하게 설치 할 수 있다.

저장소를 등록하고
```
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl
curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo tee /etc/apt/trusted.gpg.d/kubernetes.asc
```

kubectl 패키지를 설치한다.
```
sudo apt update
sudo apt install -y kubectl
```

kubectl이 잘 설치됐는지 확인해보자. 실행되면 성공이다.
```
$ kubectl version                                     
Client Version: v1.31.6-dispatcher
Kustomize Version: v5.4.2
Unable to connect to the server: dial tcp 192.168.49.2:8443: connect: no route to host
```
아직은 (minikube를 이용해서) 쿠버네티스 환경이 구성되지 않았기 때문에 connect 에러가 떨어질 것이다.
#### Minikube 설치
minikube를 다운로드 하고 설치한다.
```
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube
```

버전을 확인해보자.
```
$ minikube version
minikube version: v1.35.0
commit: dd5d320e41b5451cdf3c01891bc4e13d189586ed-dirty
```

minikube를 실행한다.
```
 minikube start --cpus 4 --memory 8192 --disk-size=50g
```

minikube를 이용해서 만들어진 네트워크는 private 네트워크로, 로컬 PC에서 직접 접근 할 수 없다. minikube tunnel 명령을 이용해서 로컬에서 접근 가능하도록 한다.
```
$ minikube tunnel
Status:
        machine: minikube
        pid: 114312
        route: 10.96.0.0/12 -> 192.168.39.132
        minikube: Running
        services: []
    errors: 
                minikube: no errors
                router: no errors
                loadbalancer emulator: no errors

```

kubectl을 이용해서 쿠버네티스 환경이 잘 만들어졌는지 확인한다.
```
$ kubectl cluster-info             
Kubernetes control plane is running at https://192.168.49.2:8443

$ kubectl get nodes                                   
NAME       STATUS   ROLES           AGE   VERSION
minikube   Ready    control-plane   21h   v1.32.0
```

## Kubeflow
#### Kubeflow 설치
Kubeflow는 **kubeflow/manifests** 저장소를 사용하여 설치 할 수 있다.
#### Kustomize 설치
Kubeflow는 **Kustomize** 를 사용하여 배포한다. Kustomize는 Kubernetes 객체 구성을 정의하는 도구다. Kustomize를 이용하면 기존 Kubernetes 매니페스트 파일을 기반으로 애플리케이션 배포를 구성할 수 있다.

```
curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bash
sudo mv kustomize /usr/local/bin/
```

#### Kubeflow Manifest 다운로드
```
git clone https://github.com/kubeflow/manifests.git
git checkout v1.8.0
cd manifests
```

#### 설치 및 실행
kubeflow 배포를 위해서 "kubeflow" 네임스페이스를 만든다.
```
kubectl create namespace kubeflow
```
kustomize를 이용해서 kubeflow를 설치한다.
```
while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done
```

#### Kubeflow 상태 확인
```
$ kubectl get pods -n kubeflow

NAME                                                     READY   STATUS    RESTARTS         AGE
admission-webhook-deployment-69976d468d-ldb8d            1/1     Running   1 (12h ago)      12h
cache-server-54dd59f65c-bl4q7                            2/2     Running   2 (12h ago)      12h
centraldashboard-76965b8847-469ck                        2/2     Running   2 (12h ago)      12h
jupyter-web-app-deployment-69995b57db-6ft76              2/2     Running   2 (12h ago)      12h
katib-controller-78f4cbc88f-lgwh7                        1/1     Running   2 (2m36s ago)    12h
katib-db-manager-5ddf8fd5f4-b6pfr                        1/1     Running   10 (48s ago)     12h
katib-mysql-5dfcbbc87f-qwknq                             0/1     Running   2 (12h ago)      12h
katib-ui-6887769bf8-d7zkm                                2/2     Running   2 (12h ago)      12h
kserve-controller-manager-9b9ff6875-dbbgl                2/2     Running   2 (12h ago)      12h
kserve-models-web-app-965b75bdf-8dbbt                    2/2     Running   2 (12h ago)      12h
kubeflow-pipelines-profile-controller-68469d866f-x7n7f   1/1     Running   1 (3m15s ago)    12h
metacontroller-0                                         1/1     Running   2 (2m32s ago)    12h
metadata-envoy-deployment-5f5d6986b9-trpnj               1/1     Running   1 (12h ago)      12h
metadata-grpc-deployment-76d6fb49f8-rmjkv                2/2     Running   11 (2m23s ago)   12h
metadata-writer-765c7b9664-2v92p                         2/2     Running   7 (12h ago)      12h
minio-847b65dd88-4nw2k                                   2/2     Running   2 (12h ago)      12h
ml-pipeline-64f8c78ddc-lz2cv                             2/2     Running   5 (12h ago)      12h
ml-pipeline-persistenceagent-744467d649-ggkz6            2/2     Running   2 (12h ago)      12h
ml-pipeline-scheduledworkflow-5f55545d8c-vwd82           2/2     Running   2 (12h ago)      12h
ml-pipeline-ui-776b8f4456-mfgnv                          2/2     Running   2 (3m15s ago)    12h
ml-pipeline-viewer-crd-644ddd8f94-jzcs6                  2/2     Running   5 (2m41s ago)    12h
ml-pipeline-visualizationserver-76495876dc-424sn         2/2     Running   2 (3m15s ago)    12h
mysql-767f4d9f9b-fzthf                                   2/2     Running   2 (12h ago)      12h
notebook-controller-deployment-76445ffdf9-jmt22          2/2     Running   5 (2m40s ago)    12h
profiles-deployment-576bc6dc96-4njrj                     3/3     Running   7 (2m20s ago)    12h
pvcviewer-controller-manager-6fc5985fd9-mzmrs            3/3     Running   7 (2m24s ago)    12h
tensorboard-controller-deployment-66f4ff67b9-vljbf       3/3     Running   6 (2m40s ago)    12h
tensorboards-web-app-deployment-7b78c4d6c-4sc79          2/2     Running   2 (12h ago)      12h
training-operator-549d6b4bfb-fcc8j                       1/1     Running   1 (12h ago)      12h
volumes-web-app-deployment-55cd5bbd4f-cgsdj              2/2     Running   2 (12h ago)      12h
workflow-controller-7dd7dfd785-crmgv                     2/2     Running   5 (2m37s ago)    12h

```

#### Kubeflow Dashboard
포트포워딩을 통해서 kubeflow dashboard 에 접근 할 수 있다.
```
kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80
```
localhost:8080 으로 접근한다. 기본 아이디 패스워드는 아래와 같다.
* User name: user@example.com
* 비밀번호: 12341234

![Kubeflow Dashboard](https://docs.google.com/drawings/d/e/2PACX-1vSgYS0EQaz9-KwcPw_GvvTU9dRIt1uLvt9Ecw1vFFPpPeWbZ_yhNuUX2hsa_gB01I6pHt-cWmWLjGCY/pub?w=930&h=501)

#### Kubeflow 구성요소 관리
1. Notebooks: Jupyter 노트북 서버를 관리하고 생성해서 데이터 탐색, 모델 개발 및 실험을 수행 할 수 있다.
2. **Pipelines**: 머신러닝 워크플로우를 파이프라인 형태로 시각화하고 실행, 모니터링 할 수 있다.
3. Katib: 하이퍼파라미터 튜닝 작업을 관리하고 결과를 시각적으로 확인할 수 있다.
4. KFServing: 모델 서빙을 관리하고 배포된 모델의 상태를 모니터링 할 수 있다.
5. Volumes: Kubeflow에서 사용하는 persistant 볼륨을 관리한다
6. TensorBoards: 텐서보드 인스턴스를 관리하고 학습 과정을 시각화 할 수 있다.
7. 파이프라인 실행 상태, 모델 배포 상태, 리소스 사용량 등 Kubeflow 워크플로우의 전반적인 상태를 실시간으로 모니터링 할 수 있다.

## 정리
오늘은 MLOps의 개념을 살펴보고 대표적인 오픈소스 MLOps 플랫폼인 Kubeflow를 설치했다. 다음 포스트에서는 Pipeline을 개발하고 간단한 ML 워크로드를 실행해보겠다.

Search For:

BY TAGS

MLOps

MLOps 의 주요 개념

자동화(Automation)

재현성(Reproductibility)

관측가능성

MLOps 파이프라인의 모습

Orchestrated experiment

소스코드 관리 및 배포

Automated Pipeline(자동화된 파이프라인)

Model Registry & Continuous Deployment

Prediction Service & Performance Monitoring

MLOps 기술 스택

Kubeflow

Kubeflow 파이프라인

Kubeflow 핵심 기능

Kubeflow를 사용하는 이유

Kubeflow 테스트 환경

NVIDIA GPU 드라이버 설치하기

NVIDIA Container Toolkit 설치

Minikube

kubectl

Minikube 설치

Kubeflow

Kubeflow 설치

Kustomize 설치

Kubeflow Manifest 다운로드

설치 및 실행

Kubeflow 상태 확인

Kubeflow Dashboard

Kubeflow 구성요소 관리

정리

Recent Posts

Archive Posts

Tags

About

Get in Touch

Categories

Search For:

BY TAGS

MLOps with Joinc - Kubeflow 설치

MLOps

MLOps 의 주요 개념

자동화(Automation)

재현성(Reproductibility)

관측가능성

MLOps 파이프라인의 모습

Orchestrated experiment

소스코드 관리 및 배포

Automated Pipeline(자동화된 파이프라인)

Model Registry & Continuous Deployment

Prediction Service & Performance Monitoring

MLOps 기술 스택

Kubeflow

Kubeflow 파이프라인

Kubeflow 핵심 기능

Kubeflow를 사용하는 이유

Kubeflow 테스트 환경

NVIDIA GPU 드라이버 설치하기

NVIDIA Container Toolkit 설치

Minikube

kubectl

Minikube 설치

Kubeflow

Kubeflow 설치

Kustomize 설치

Kubeflow Manifest 다운로드

설치 및 실행

Kubeflow 상태 확인

Kubeflow Dashboard

Kubeflow 구성요소 관리

정리

Recent Posts

Archive Posts

Tags

About

Get in Touch

Categories

Subscribe