分词+数据增强方法
import jieba
selg_list = jieba.cut("贪心学院专注于人工智能教育",cut_all=False)
print("/".join(selg_list))
jieba.add_word("贪心学院")
seg_list = jieba.cut("贪心学院专注于人工智能教育",cut_all=False)
print("/".join(seg_list))
D:\soft\Anaconda\envs\py3.9\python.exe D:/soft/pycharm/pythonProject2/jieba分词.py
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Claire\AppData\Local\Temp\jieba.cache
贪心/学院/专注/于/人工智能/教育
贪心学院/专注/于/人工智能/教育
Loading model cost 0.515 seconds.
Prefix dict has been built successfully.
进程已结束,退出代码0
前向最大匹配
forward-max matching
例子：我们经常有意见分歧
词典：[“我们”,“经常”,“有”,“有意见”,“意见”,“分歧”]
max-len = 5
最大匹配算法，关键词最大
让我匹配到的单词是越长越好的
后向最大匹配
缺点？
https://zhuanlan.zhihu.com/p/145521255
数据增强方法
词汇替换
去替换原始文本中某一部分，而不改变句子本身的意思
基于同义词典的替换
随机去一个单词，将其替换为对应的同义词。
英文当中WordNet数据库来查找同义词
基于word-embeddings的替换
Masked Language Model的替换
pipeline端到端的管道
把随机一个位置改为mask
让Bert找mask是什么值
基于TF-IDF的替换
Back Translation（回译）
Text Surface Translation
缩写和非缩写的形式转换
英文的缩写列表：contractions库
Random Noise Injection
在文本中加入注入噪声，来生成新的文本，最后使得训练的模型对扰动具有鲁棒性
QWERTY keyborad Error Injection == 可能会很有意思
Unigram Noising
采样
Blank Noising
_
Sentence Shuffling
交换顺序
Random Insertion
随机选择
Random Swap
随机交换两个单词
Random Deletion
概率p随机删除句子中的每个单词
5. Instance Crossover Augmentation
tweet被分成两半，文本情绪各自一半
6. Syntax-tree Manipulation
主被动被转换
7. MixUp for Text
按比例合成
wordMixup
在一个batchsize中随机取两个随机的句子，之后填充相同的长度，之后按比例混合，之后新的mix-up word embeddings
sentMixup
句子的embedding的混合
8.生成的方法
给定一个条件，生成一个句子
生成任务！！