KServe1 KServe + Docker + PyTorch로 Model serving 하기 최근에 멘토님한테 쿠버네티스, Kubeflow를 배웠다. 그러면서 Kubeflow 위에서 사용할 수 있는 Serving framework로 KServe라는 것을 알게 되었다. 보통 KServe는 쿠버네티스 위에서 KNative, Istio와 함께 사용된다. 처음에는 나도 쿠버네티스 위에 저 두 개를 천천히 올려서 사용하려고 했었다. 그런데 계속 어디서 설정이 꼬이는건지 삽질만 며칠 하다가 그냥 때려쳤다. 다행히 KServe가 최근 버전에서 쿠버네티스 없이 stand-alone으로 사용할 수 있다고 해서 그렇게 했다. Dockerfile 및 pip 패키지 #Dockerfile FROM pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel WORKDIR /workspace COPY .. 2023. 1. 24. 이전 1 다음
