분류 전체보기5 KServe + Docker + PyTorch로 Model serving 하기 최근에 멘토님한테 쿠버네티스, Kubeflow를 배웠다. 그러면서 Kubeflow 위에서 사용할 수 있는 Serving framework로 KServe라는 것을 알게 되었다. 보통 KServe는 쿠버네티스 위에서 KNative, Istio와 함께 사용된다. 처음에는 나도 쿠버네티스 위에 저 두 개를 천천히 올려서 사용하려고 했었다. 그런데 계속 어디서 설정이 꼬이는건지 삽질만 며칠 하다가 그냥 때려쳤다. 다행히 KServe가 최근 버전에서 쿠버네티스 없이 stand-alone으로 사용할 수 있다고 해서 그렇게 했다. Dockerfile 및 pip 패키지 #Dockerfile FROM pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel WORKDIR /workspace COPY .. 2023. 1. 24. 2023년 1월 3주차 일상 주안역 주짓수는 샤크 멀티짐 ^^!! 라고 언젠가 사범님들한테 당당하게 블로그에 홍보하고 있다고 말할 수 있는 날이 올까? ㅎㅎ 울산에서 드릴짐에 다닐 때 같이 다니시던 분이 블로그에 홍보를 하셔서 학교 사람들이 많이 찾아 왔다는 얘기를 들은 적이 있었다. 나도 언젠가 기술 블로그를 하게 되면 간간히 도장 홍보를 하고 싶다는 생각이 들기도 했다. 여전히 게을러서 쓰고 싶은 주제는 많지만 쉽게 글이 써지지 않는다. 블로그를 키우려면 아무튼 글을 많이 써야 할텐데.. ㅎㅎ;; 게으른건 언제 고쳐질런지 모르겠다. 아무튼 이번주는 성실하게 주짓수를 계속 나갔다. 사범님들도 회사 다니면서 매일 나오기 쉽지 않다고 하셨는데 그 어려운걸 해내고 있다. 숙성가 - 집 근처에 처음 보는 음식점을 찾았다. 숙성 회를 파는.. 2023. 1. 23. 2023년 1월 2주차 일상 ATC'23에 2저자로 논문을 다시냈다. 지난 NSDI 학회에서 떨어졌던 논문을 다시 수정해서 ATC에 제출을 했다. 1월 초부터 회사에 다니느라 거의 2저자의 역할을 하지 못해서 1저자 형한테 너무 미안했다. 하루 빨리 뭐든 accept이 되어서 졸업 걱정은 안하고 사셨으면 좋겠다. KubeFlow와 KServing 때문에 고통을 받았다. 어쩐지 MLflow랑 BentoML이 쉽게 풀린다 했다. Hugging face에서 제공해주는 GPT-2를 Kubeflow랑 KServing을 이용해서 배포하려고 오만 삽질을 다했다. 그나마 멘토님이 좋은 설치 링크를 알려주셔서 간단한 Scikit-learn 예제 정도는 돌릴 수 있었다. 그래도 결국 기술위원님 앞에서 발표는 해야 해서 다음주에도 고생 좀 해야할 것 .. 2023. 1. 14. 2023년 1월 첫 주차 일상 드디어 석사 논문 하드커버가 나왔다. 대학원 다니면서 탑티어 학회에 accept이 통 되질 않아서 힘들었는데, 그래도 하드 커버를 보니까 그래도 나름 열심히 대학원 생활 한 것 같긴 하다. 기술 위원님이 내가 연구 했던 주제에 대해 관심이 많으신 것 같다. 의외로 지금 회사에서 하는 MLOps는 내가 연구 했던 것들과 큰 연관성은 없어보이는데.. 어쨌든 기술 위원님과 멘토님이 따로 연구 주제 관련한 발표를 요청드렸다. 주짓수를 다시 시작했다. 원래 울산에서 골든 라이언 계열을 다니다가 취직 + 졸업 때문에 본가에 올라오면서 3주를 쉬었다. 새로 다니게 된 도장은 얼라이언스 계열인 것 같다. (따로 떨어져 나온건지 아닌지는 잘 모르겠다.) 다행히 실장님? 이라는 분이 여기 도장은 프리한 분위기고 유색 왔다.. 2023. 1. 7. 이전 1 2 다음
