tensorflow serving

1. 花椒直播 serving 方法（思路）：

• 并发，最好用GPU，CPU版本重新编译 tf-serving 支持 AVX2 指令。
• 可以用 LSH
• 多台 provider 和多台 tf-serving，中间封装一层负载均衡，provider 会优先请求本地 tf-serving。
• serving 的 client 尽量用 C++ 来写

2. 趣头条

• 训练的时候用 tensorflow 的 python API
• 在线预测的时候用 C++ 调用 tensorflow C++ 的能力