bert从入门到实践笔记本

因工作原因要是用bert,查了比较多东西,把过程中的一些问题和内容记录在这里,方便自己以后查阅,也为更多新人指路。
‘工作中不断更新ing…’
-----------------过程中发现的一些好文章:----------------

bert原理
bert的fine-tune
在notebook里运行一个.py文件的方法

一、bert简介

------小白刚入手bert,可以把它理解成Python的一个拓展库,由谷歌发布,和其他库区别在于这个库比别的库安装起来步骤稍微麻烦了一丢丢,但绝对值得入手,种草吧。

1. bert是什么

------如果说我们人类的理解事物的方法是用各种语言文字,那机器理解的语言是一串向量;这两种理解方式都可以看做是实体向语言的映射。
------比如在人的世界里,‘西瓜’在机器的世界里,向量a便是这事物的名字。
------bert就相当于是这个翻译器,实现人类的自然语言与机器的机器语言相互转化。bert反映了这期间映射的规则,将输入的句子,文本(中英文都可以)转成向量,作为连接人类语言与机器语言的桥梁。
bert从入门到实践笔记本_第1张图片------自然语言翻译器,其发展历程可以大致看成:
‘one-hot’—>‘word2vec’–>‘bert’
------如果把各种翻译器转成的向量分别形容为一种语言,one-hot语言就有些难写,向量的维数太高,不方便机器计算;而word2vec与one-hot,就像是繁体字与简体字的关系了,在表意一致的情况下,将向量维数缩小至百维;而bert作为改进方法,它的维度也是百维,并且表达的含义更加丰富,保留了更多的原文信息。

二、bert的使用

1. 使用方法

参考此文

2. 遇到的问题

1. 启动服务器失败,出现错误,bert-serving-start TypeError: ‘NoneType’ object is not iterable

这个问题查了很久,后来发现在这个文章得到了好的解答,本文不赘述。文章链接

2. 激活bert服务器的注意点

本文用的anaconda的notebook,

  1. 需要先将prompt 的环境切换到目标环境,如我用的py3.6.13,(默认是base环境)
activate py3613
#py3613  是我环境的别名
  1. 然后激活server
  2. 才能用bert

3. ‘bert-serving-start’ 不是内部或外部命令,也不是可运行的程序或批处理文件。

我出现这个问题,是因为我打开prompt后的默认环境base没有安装sever,也就是bert服务器。
我的服务器安装在了py3613,所以,activate py3613,激活目标环境之后,再尝试激活服务器,就可以成功了。

4. 建议

运行调试环境的时候,建议找个tex把常用的命令存起来,会方便许多。

你可能感兴趣的:(笔记,bert,服务器,人工智能)