【个人笔记】2020-8-24

2020-8-24

TODO:

1. BART encode result. modularity and F1| without any training.
2. 初始化：
   1. 思考n * m
   2. RSN
   3. BERT｜ BART

BART:

既然without any training。那么BART肯定不能加special token，那么对于entity 位置也就不用做特殊处理了。

所以直接把BART load进来encode之后进行聚类就完事。

BERT:

1. 不训练直接encode， special token的话，去找一下用的是什么。
2. 用关系抽取的entity start进行训练一下然后再用embedding来做

把2016和2019的URE再读一遍，仔仔细细的，大哥。

BERT: normalized, without entity specialization

Precision(%); Recall(%); F1(%)
7.67 ; 68.33 ; 13.79

这个其实比较好理解，首先BERT本身在这里用的embedding normalize之后差距并不是特别的明显和巨大了。

但是最大的距离其实是0.

观测了一下BERT的embedding的大小，可以发现范围是在-1， 1之间。

B3 Precision(%);B3 Recall(%);B3 F1(%)
96.66 ; 1.32 ; 2.60

max embedding difference 2259.30566
avg embedding difference 529.49022
min embedding difference 0.0

此处大无语， 瞅瞅这个最大embedding距离和平均距离，那么其实所有的都不是一个类的了。因为通过Louvain的权重链接的话，都删掉了。

但是肯定还有有优化方向的，一个就是L2 的normalize，一个是max-min value的normalize。

接下来主要就是操作BART了，对于BART的encoder，主要是需要其encoder和decoder中间链接的$z$，而不是像现在的BERT一样全部过一遍，一直到最后。

不过我觉得有点奇怪，如果用中间的值，会不会模型捕捉到方向是不同的，因为如果是重构，那么最好是能保存全部文章的信息，如果不是重构，那么信息就丢失了诶。（也是由于不熟悉吧，反正我觉得应该结果也不会好的。肯定要疯狂fine-tune

好，接下来就狂搞BART了。

结果sota了就不放结果了，现在写点狗屎上来，博诸君一笑。