Docker2 KServe + Docker + PyTorch로 Model serving 하기 최근에 멘토님한테 쿠버네티스, Kubeflow를 배웠다. 그러면서 Kubeflow 위에서 사용할 수 있는 Serving framework로 KServe라는 것을 알게 되었다. 보통 KServe는 쿠버네티스 위에서 KNative, Istio와 함께 사용된다. 처음에는 나도 쿠버네티스 위에 저 두 개를 천천히 올려서 사용하려고 했었다. 그런데 계속 어디서 설정이 꼬이는건지 삽질만 며칠 하다가 그냥 때려쳤다. 다행히 KServe가 최근 버전에서 쿠버네티스 없이 stand-alone으로 사용할 수 있다고 해서 그렇게 했다. Dockerfile 및 pip 패키지 #Dockerfile FROM pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel WORKDIR /workspace COPY .. 2023. 1. 24. Flask + Docker + PyTorch로 Model serving 하기 첫 회사에서 과제로 Flask와 Docker로 모델 배포를 하고 성능 체크를 맡게 되었다. 블로그 첫 게시글로 오늘 했던 과정을 적어 볼 생각이다. Docker를 이용해 필요한 패키지와 모듈 준비하기 우선 Dockerfile을 이용하여 필요한 패키지를 묶어서 이미지화 하기로 했다. 기반이 될 이미지는 CUDA 11.1 버전을 사용하는 PyTorch 1.8.1 (CuDNN은 8.0이였다.) 거기에 필요한 것은 Flask와 request 모듈이 필요했기 때문에 이 두 모듈은 requirements.txt에 넣어 주었다. #Dockerfile FROM pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel MAINTAINER [NAME] [E-MAIL] WORKDIR /workspace.. 2023. 1. 4. 이전 1 다음
