simcse实践使用

实践目标：

跑通simcse，看看和传统bert比，是否表征能力更强，是否相似句的相似度更高，非相似句的相似度更低。

github地址：

https://github.com/princeton-nlp/SimCSE

跑代码踩坑记录：

1. couldn‘t reach http://raw.githubusercontent.com/huggingface/...

原因，因为这个huggingface的代码，跑的过程中需要在线download一些数据和代码，而这些代码是需要的，所以必须开全局模式，而且时灵时不灵。或者你就在gpu服务器访问，例如mistgpu

2. No such file or directory: './SentEval/data/downstream/STS/STSBenchmark/sts-train.csv'

需要手动下载数据集参考：./SentEval/data/download/download_dataset.sh

它会在每次跑验证集的时候，跑一轮huggingface设置的验证集，包括：

 

怎么取消这种验证方式目前尚不清楚

3. 数据集

分为有监督和无监督

参考：

./data/download_nli.sh和./data/download_wiki.sh

4. 跑通

直接跑还有个问题，就是每次走5 fold cross validation 所以比较慢

5. 实验效果