'인공지능' 카테고리의 글 목록

인공지능 (35)

[TensorFlow] Flask 와 Tensorflow Serving gRPC 통신

인공지능 범범조조 2022. 3. 29. 19:13

목적 Flask 로 TensorFlow Serving gRPC Inference 서비스를 만들어서, TensorFlow Serving Server와 gRPC 통신을 통해 Inference 되는지 테스트 진행합니다. TensorFlow Serving Server Docker 실행 Flask로 gRPC 서비스 개발에 앞서, TensorFlow Serving Server 를 Docker를 이용하여 Container로 실행하였습니다. docker run -t --rm --name=tf-serving \ -p 8500:8500 \ -p 8501:8501 \ -v "C:/ADC45_PythonAPI/adc45_edge/src/test_data/save_model/tensorflow/:/models/model" \ ..

[TensorFlow] TensorFlow Serving CPU, GPU 동작 확인

인공지능 범범조조 2022. 3. 25. 19:09

참조 https://hub.docker.com/r/tensorflow/serving https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/docker.md 목적 TensorFlow Serving 서버는 현재 Docker Hub에서 tensorflow/serving 이미지를 다운로드 받아 Container 로 실행하고 있습니다. TensorFlow Serving Container를 실행할 때 CPU, GPU 동작 여부 조사 진행합니다. Docker Hub - tensorflow/serving 이미지 Tag 정보 tensorflow/serving 이미지 개요 :latest : TensorFlow Serving 바이너리가 설치되고..

[TensorFlow] gRPC 클라이언트에서 models.config 구성 된 Model Reloading

인공지능 범범조조 2022. 3. 23. 18:48

참조 https://stackoverflow.com/questions/54440762/tensorflow-serving-update-model-config-add-additional-models-at-runtime 소개 TensorFlow Serving은 미리 models.config 설정 파일에 Loading할 모델들을 정의할 수 있습니다. 해당 작업은 Tensorflow Serving 서버에서 직접 작업하는 내용입니다. Client에서도 수동으로 models.config 파일에 정의된 모델을 Loading 하는 방법에 대해 자료조사 및 POC 진행합니다. 예제코드 Python 코드로 TensorFlow Serving gRPC 코드에 models.config 파일에 정의된 Model 을 수동으로 재로딩..

[TensorFlow] TensorFlow Serving 다중 모델 로딩

인공지능 범범조조 2022. 3. 22. 21:28

참조 https://www.tensorflow.org/tfx/serving/serving_config#model_server_config_details 소개 TensorFlow Serving 에서 단일 모델이 아닌, 다중 모델 로딩 조사하는 방법에 대해서 조사합니다. Models.Config 파일 설정을 통해, TensorFlow Serving 에서 다중 모델 로딩 가능합니다. 해당 내용 조사 및 POC 진행합니다. 1. 로컬에 models.config 파일 생성 및 정보 작성 TensorFlow Serving에서 다중 모델 로딩하려면, models.config 파일이 필요합니다. models.config 파일에는 모델 서버 구성 정보들을 설정합니다. 단일 모델 인 경우 아래 config 설정 파일은 현..

[TensorFlow] TF Serving 1번 버전 없이 다른 버전 동작 기능 확인

인공지능 범범조조 2022. 3. 22. 20:27

참조 https://tf.wiki/en/deployment/serving.html#installation-of-tensorflow-serving 목적 TensorFlow Serving 은 버전 정보를 토대로 모델 업데이트 하는 것을 확인하였습니다. 예를 들어, Xception 모델 안에 1,2,3 버전이 존재하면 가장 번호가 높은 3번 최신 버전을 업데이트합니다. 여기서 확인해야 할 점이, 만약 버전이 1번이 없이 2번만 존재하는 경우에도 문제 없이 TensorFlow Serving Container가 정상적으로 동작하는지 확인합니다. 테스트 진행할 버전 디렉터리 구성 앞서 Xception 모델에 1, 2 2개의 버전이 있었습니다. 여기서 1번 버전 디렉터리를 삭제하고, 2번 디렉터리만 남겼습니다. Te..

[TensorFlow] Tensorflow Serving 모델 업데이트 방법

인공지능 범범조조 2022. 3. 22. 19:24

참조 https://tf.wiki/en/deployment/serving.html#installation-of-tensorflow-serving 목적 Tensorflow Serving에서 모델 업데이트 방법에 대해 조사합니다. TensorFlow Serving 모델 폴더 구조 TensorFlow Serving은 다음과 같은 전형적인 모델 폴더 구조를 가진 모델의 업데이트를 지원합니다. /saved_model_files /1 # model files of version 1 /assets /variables saved_model.pb ... /N # model files of version N /assets /variables saved_model.pb 위의 1 ~ N 의 서브폴더는 버전 번호가 다른 모델을..

[Tensorflow] Tensorflow Serving models.config 설정 방법

인공지능 범범조조 2022. 3. 21. 21:47

참조 https://ichi.pro/ko/tensorflow-serving-eul-sayonghayeo-daleun-model-beojeon-eul-jegonghaneun-bangbeob-eun-mueos-ibnikka-244526198184183 https://www.tensorflow.org/tfx/serving/docker 목적 Tensorflow Serving 을 사용할 때 models.config 파일을 통해 모델 서버 구성 파일을 사용하여 모델 환경 설정을 할 수 있습니다. 모델 서버 구성 파일은 프로토콜 버퍼 파일(protobuf)로, 언어 중립적이고 플랫폼 중립적 인 확장 가능하지만 구조 데이터를 직렬화하는 간단하고 빠른 방법을 제공합니다. 모델 구성 파일 예시 model_config_li..

[텐서플로우] 모델 summary param 의미

인공지능 범범조조 2022. 3. 20. 17:36

소개 안녕하세요. 오늘은 텐서플로우에서 기본으로 제공해 주는 함수인 summary 함수에 대해서 알려 드리려고 합니다. summary 함수는 모델 구성에 대해서 확인할 수 있게 기본으로 제공해 주는 함수입니다. 예제 코드 import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from tensorflow import keras # 학습데이터 준비 x = np.array([1,2,3,4,5,6,7,8,9,10]) y = np.array([1,2,3,4,5,6,7,8,9,10]) # Keras의 Sequential모델을 선언 model = keras.Sequential([ # 첫 번째 Layer: 데이터를 신경망에 집어넣기 ker..

[인공지능] 텐서플로우 - 1에서 10까지 예측 모델 구하기(선형회귀)

인공지능 범범조조 2022. 3. 20. 17:13

소개 안녕하세요. 오늘부터 텐서플로우를 학습하면서 틈틈히 공부한 내용과 예제 코드들을 블로그에 정리하려고 합니다. 자세한 알고리즘 부분까지는 알지 못하고, 간단히 텐서플로우, 케라스를 통한 모델 학습 및 검증, 추론 정도만 하는 것이 저의 목표 이기 때문에 이 부분에 도달할 때까지 포스팅 하려고 노력 하겠습니다. 오늘은 첫 번째로, 가장 기본중에 기본인 1에서 10까지 값을 예측하는 모델을 구하는 예제 코드를 작성해 보려고 합니다. 바로 예제 코드를 작성해 보겠습니다. 텐서플로우 설치 텐서플로우 예제 코드는 Python으로 작성할 것입니다. 선행적으로 텐서플로우를 우선 설치 진행해야 합니다. 설치 방법은 커맨드(cmd) 창을 열어서 pip install tensorflow 라고 입력하여 설치 진행합니다...

[인공지능] gRPC 메타데이터 input, ouput 정보 가져오기

인공지능 범범조조 2022. 3. 16. 19:13

참조 https://github.com/tensorflow/serving/blob/master/tensorflow_serving/apis/prediction_service_pb2_grpc.py 목적 Tensorflow Serving 에서 gRPC를 이용하여 Python 코드에서 검증하는 작업 코드를 작성하였습니다. 하지만, 문제가 되는 부분이 모델별로 input, ouput 데이터가 다르기 때문에 해당 부분을 유연하게 가져오는 방법이 필요 했습니다. 조사 결과, Model의 Metadata 안에 Key, Value 값으로 Input, Ouput 값들이 저장되어 있는 것을 확인하였습니다. 실제로 Tensroflow Serving 의 gRPC 코드에 metadata를 가져와 Input, Ouput 값들을 파..

[인공지능] TensorFlow Serving - Docker Container 실행 하기, gRPC

인공지능 범범조조 2022. 3. 15. 17:58

참조 https://www.tensorflow.org/tfx/guide/serving http://solarisailab.com/archives/2703 소개 Docker를 이용하여 TensorFlow Serving 실행하는 방법을 정리합니다. Docker를 이용한 TensorFlow Serving 실행 모델을 SavedModel 포맷으로 저장한 이후에 이를 TensorFlow Serving에서 로드해서 API 서버로 만들 수 있습니다. 보통 TensorFlow Serving은 Docker를 이용해서 실행합니다. Docker를 이용해서 TensorFlow Serving을 실행하는 방법은 다음과 같습니다. TensorFlow Serving 이미지 다운로드 먼저 docker hub에서 TensorFlow S..

[인공지능] TensorFlow Serving - Docker Container 실행 하기, REST API

인공지능 범범조조 2022. 3. 15. 17:56

참조 https://www.tensorflow.org/tfx/guide/serving http://solarisailab.com/archives/2703 소개 Docker를 이용하여 TensorFlow Serving 실행하는 방법을 정리합니다. Docker를 이용한 TensorFlow Serving 실행 모델을 SavedModel 포맷으로 저장한 이후에 이를 TensorFlow Serving에서 로드해서 API 서버로 만들 수 있습니다. 보통 TensorFlow Serving은 Docker를 이용해서 실행합니다. Docker를 이용해서 TensorFlow Serving을 실행하는 방법은 다음과 같습니다. TensorFlow Serving 이미지 다운로드 먼저 docker hub에서 TensorFlow S..

1
2
3

Sidebar

Copyright © BeomBeomJoJo - Programmer All Rights Reserved

Designed by JB FACTORY