数据预处理方法集合（持续更新）

1. NLP基本处理

去除不需要的字符

使用正则表达式实现：

import re

# 过滤不了\\ \ 中文（）还有————
r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'#用户也可以在此进行自定义过滤字符 
# 者中规则也过滤不完全
r2 = "[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）]+"
# \\\可以过滤掉反向单杠和双杠，/可以过滤掉正向单杠和双杠，第一个中括号里放的是英文符号，第二个中括号里放的是中文符号，第二个中括号前不能少|，否则过滤不完全
r3 =  "[.!//_,$&%^*()<>+\"'?@#-|:~{}]+|[——！\\\\，。=？、：“”‘’《》【】￥……（）]+" 
# 去掉括号和括号内的所有内容
r4 =  "\\【.*?】+|\\《.*?》+|\\#.*?#+|[.!/_,$&%^*()<>+""'?@|:~{}#]+|[——！\\\，。=？、：“”‘’￥……（）《》【】]"

sentence = "hello! wo?rd!."
cleanr = re.compile('<.*?>')
sentence = re.sub(cleanr, ' ', sentence)        #去除html标签
sentence = re.sub(r4,'',sentence)
print(sentence)

停用词

from nltk.corpus import stopwords
sentence = "this is a apple"
filter_sentence= [w for w in sentence.split(' ') if w not in stopwords.words('english')]
print(filter_sentence)

2. CV数据基本处理

2.1 使用opencv进行数据预处理

imutils
----------图像平移

img = cv.imread(filename)
#x,y 表示平移的像素个数 
translated = imutils.translate(img, x, y)
#图像缩放
resized = imutils.resize(img, width=200)
#图像旋转
rotated = imutils.rotate(img, alpha)

通用数据集处理

1.训练集和验证集分割方法

训练集和验证集划分，一般推荐使用两种：

1. sklearn.train_test_split()方法
2. torch.utils.data.Data.random_split(),并使用Dataloader加载数据集进行分批次处理，速度快，占用资源少；
   代码详细实现见链接：Dataloader代码