基于Milvus和BERT搭建AI智能问答系统（开发环境准备）

基于Milvus和BERT搭建AI智能问答系统（1）_lichunericli的博客-CSDN博客基于Milvus和BERT搭建AI智能问答系统（1）https://blog.csdn.net/lichunericli/article/details/131739563

1. Windows安装Docker

官网地址下载Docker Destop for Windows：Get Docker | Docker DocumentationDownload and install Docker on the platform of your choice, including Mac, Linux, or Windows.https://docs.docker.com/get-docker/安装Docker后如果出现以下问题提示，在CMD控制台窗口执行wsl --update命令后重启即可。

2. Docker中安装Milvus

（2.1）Milvus Github

https://github.com/milvus-io/milvus

（2.2）下载milvus-standalone-docker-compose.yml文件

https://github.com/milvus-io/milvus/releases/download/v2.0.2/milvus-standalone-docker-compose.yml

文件下载完成后，需要将其命名为：docker-compose.yml，并保存在某文件目录中。

（2.3）启动Milvus

CMD控制台窗口跳转到与docker-compose.yml文件相同的目录中，可以通过执行命令docker-compose up -d来启动Milvus。

可以通过执行命令docker-compose ps来查看Milvus的启动情况，如果存在3个docker容器在运行，其中包括Milvus独立服务及其两个依赖项，则表示成功启动Milvus。

可以通过执行命令docker-compose down来停止Milvus，执行命令rm -rf volums来删除数据。

3. 安装Milvus可视化工具Attu

镜像安装：docker run -p 8000:3000 -e MILVUS_URL={你的IP地址}:19530 zilliz/attu:latest

安装成功后访问：http://localhost:8000进入Milvus图形化可是界面：

4. 安装Anaconda3

官网地址下载Anaconda3，选择安装环境，直接next直到安装结束即可：

Free Download | AnacondaAnaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine.https://www.anaconda.com/download

Note：安装完成后，在开始菜单输入“Anaconda Prompt”并点击，再命令行进入存放ipynb文件所在的目录后输入命令：jupyter lab，将在该目录下启动Jupyterlab可打开ipynb文件。

5. 安装BERT服务

（5.1）下载BERT训练模型

https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

（5.2）服务器端安装

在CMD控制台窗口中执行命令：pip install bert-serving-server

（5.3）客户端安装

 在CMD控制台窗口中执行命令：pip install bert-serving-client

（5.4）TensorFlow安装

 在CMD控制台窗口中执行命令：pip install tensorflow==1.13.1

Note：TensorFlow广泛用于机器学习和深度学习应用，包括图像识别、自然语言处理和预测分析

（5.5）启动BERT服务

在CMD控制台窗口中执行命令：bert-serving-start -model_dir D:/chinese_L-12_H-768_A-12/ -num_worker=1

6. 余弦相似度实现

（6.1）sklearn安装

在CMD控制台窗口中执行命令：python -m pip install scikit-learn

（6.2）PyCharm

使用PyCharm来编写和执行Python代码

（6.3）代码实现逻辑 

from sklearn.metrics.pairwise import cosine_similarity
from bert_serving.client import BertClient

bc = BertClient(ip='localhost', check_version=False, port=5555, port_out=5556, check_length=False, timeout=10000)

sentences_list = ["我爱华为",
                  "我爱huawei",
                  "I love华为",
                  "我不爱华为",
                  "我 爱 华 为"]

embeddings = bc.encode(sentences_list)

similarities = cosine_similarity(embeddings)
print(similarities)

# calculation similarities between first and second sentences
similarities_pair = cosine_similarity(embeddings[0:1], embeddings[1:2])
print(similarities_pair)

# calculation similarities between first sentence and others
similarities_first = cosine_similarity(embeddings[0:1], embeddings[1:])
print(similarities_first)

Note：此处余弦相似度的输出结果只能说明内容的相似性，不能代表现实意义的相似性。