tensorflow实现给bert-crf不同层设置不同的学习率

    前段时间看了苏神的文章,关于CRF层可能存在学习不充分问题,文章地址:https://kexue.fm/archives/7196,简而言之就是bert拟合能力太强,可以迅速的学习出字的标签分布,但是CRF部分和BERT没什么关系,前面的字标签已经学习的很好了,导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务,有时候会存在标签乱序的现象,故把以前的代码CRF层中加入不同的学习率,实验结果确实是可以改善标签乱序现象。

本文主要是实验下如何在tensorflow中给不同的层设置不同的学习率,任务是bert+CRF实体识别https://github.com/lplping/Chinese-NER-

你可能感兴趣的:(机器学习,自然语言处理,tensorflow)