BeomBeomJoJo

2022/03/22 (3)

[TensorFlow] TensorFlow Serving 다중 모델 로딩

인공지능 범범조조 2022. 3. 22. 21:28

참조 https://www.tensorflow.org/tfx/serving/serving_config#model_server_config_details 소개 TensorFlow Serving 에서 단일 모델이 아닌, 다중 모델 로딩 조사하는 방법에 대해서 조사합니다. Models.Config 파일 설정을 통해, TensorFlow Serving 에서 다중 모델 로딩 가능합니다. 해당 내용 조사 및 POC 진행합니다. 1. 로컬에 models.config 파일 생성 및 정보 작성 TensorFlow Serving에서 다중 모델 로딩하려면, models.config 파일이 필요합니다. models.config 파일에는 모델 서버 구성 정보들을 설정합니다. 단일 모델 인 경우 아래 config 설정 파일은 현..

더 읽기

[TensorFlow] TF Serving 1번 버전 없이 다른 버전 동작 기능 확인

인공지능 범범조조 2022. 3. 22. 20:27

참조 https://tf.wiki/en/deployment/serving.html#installation-of-tensorflow-serving 목적 TensorFlow Serving 은 버전 정보를 토대로 모델 업데이트 하는 것을 확인하였습니다. 예를 들어, Xception 모델 안에 1,2,3 버전이 존재하면 가장 번호가 높은 3번 최신 버전을 업데이트합니다. 여기서 확인해야 할 점이, 만약 버전이 1번이 없이 2번만 존재하는 경우에도 문제 없이 TensorFlow Serving Container가 정상적으로 동작하는지 확인합니다. 테스트 진행할 버전 디렉터리 구성 앞서 Xception 모델에 1, 2 2개의 버전이 있었습니다. 여기서 1번 버전 디렉터리를 삭제하고, 2번 디렉터리만 남겼습니다. Te..

더 읽기

[TensorFlow] Tensorflow Serving 모델 업데이트 방법

인공지능 범범조조 2022. 3. 22. 19:24

참조 https://tf.wiki/en/deployment/serving.html#installation-of-tensorflow-serving 목적 Tensorflow Serving에서 모델 업데이트 방법에 대해 조사합니다. TensorFlow Serving 모델 폴더 구조 TensorFlow Serving은 다음과 같은 전형적인 모델 폴더 구조를 가진 모델의 업데이트를 지원합니다. /saved_model_files /1 # model files of version 1 /assets /variables saved_model.pb ... /N # model files of version N /assets /variables saved_model.pb 위의 1 ~ N 의 서브폴더는 버전 번호가 다른 모델을..

더 읽기

Copyright © BeomBeomJoJo All Rights Reserved

Designed by JB FACTORY

티스토리툴바