【机器学习】TensorFlow共享GPU资源

一般在TF serving 在推理测进行控制,可以限制模型大小,可以限制请求数量,同时可以控制排队数量,也可以限制整个的访问数量 。

下面是没有对GPU进行限制的,程序会将GPU占满。

$ nohub tensorflow_model_server \ 
--rest_api_port=8501 \ 
--model_name=mobilenet \ 
--model_base_path="/tmp/mobilenet" >server.log 2>&1

 

下面加入per_process_gpu_memory_fraction,对资源进行控制

$ nohub tensorflow_model_server \ 
--per_process_gpu_memory_fraction=0.3 \ 
--rest_api_port=8501 \ 
--model_name=mobilenet \ 
--model_base_path="/tmp/mobilenet" >server.log 2>&1

 

在k8s容器里面跑,也可以使用这个参数来控制gpu内存使用。

$ nvidia-docker run -t --rm -p 8501:8501 \ 
-v "$TESTDATA/mobilenet:/models/mobilenet" \ 
-e MODEL_NAME=mobilenet \ 
tensorflow/serving:latest-gpu \ 
--per_process_gpu_memory_fraction=0.5

 

在一个容器多个GPU来控制gpu内存使用

1.如果本身有AI平台的调度功能,可以通过一些配置来达到目的

 

2.如果没有k8s,就一个裸的机器,那么可以使用

$ NV_GPU=${GPU_id} nvidia-docker run -t --rm -p8501:8501 \ 
-v "$TESTDATA/mobilenet:/models/mobilenet" \ 
-e MODEL_NAME=mobilenet \ 
tensorflow/serving:latest-gpu \ 
--per_process_gpu_memory_fraction=0.5

 

计算运算资源,涉及有很多参数,这里列出常用参数,进行估算。

1.max_batch_size:一个批次处理的最大请求数量。设定后会将多个请求合并为一个batch进行处理。

2.batch_timeout_micros:在请求未累积到max_batch_size时,等待服务的最大时长。如超时,则直接处理该批次请求。

3.num_batch_threads:服务可并发处理的batch数量,通常不大于分配的CPU核数;

4.max_enqueued_batches: 调度器队列中最大batch数量。如果当前队列已满,那么之后的请求会返回错误。

【机器学习】TensorFlow共享GPU资源_第1张图片

 

 

你可能感兴趣的:(机器学习,深度学习,TensorFlow,GPU资源)