tensorflow2.0 实现文本分类

数据集

一个英文评论的数据集，标签是三类，正向负向和中立

引入库

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
import re

读入数据

data=pd.read_csv('dataset/Tweets.csv')
data.head()

有很多列数据，只使用其中两列，text，airline_sentiment评论内容以及标签

data=data[['airline_sentiment','text']]
data.head()

处理标签，字符型转化为int类型

data=data.sample(len(data))#打乱顺序
def trans_label(label):
    if label=='negative':
        return 0
    elif label=='positive':
        return 1
    else:
        return 2

data['label']=data['airline_sentiment'].apply(trans_label)
del data['airline_sentiment']

处理评论数据

token=re.compile(r'[A-Za-z]+|[!?,.()]')#只使用评论中的大小写字母，以及!?,.()，过滤掉其他特殊符号

def reg_text(text):
    new_text=token.findall(text)
    new_text=[word.lower() for word in new_text]#都变成小写
    return new_text

#注：如果是中文的数据集，使用jieba库进行分词，往后的操作都类似
data['text']=data.text.apply(reg_text)
data

每条数据是一个列表，列表中是其每个词

构建词表与转化评论为数字特征

datax=data['text']
y=data['label']
x_train,x_test,y_train,y_test = train_test_split(datax,y,test_size=0.2,random_state=0)

word_set=set()#所有词组成的词典，这里只使用训练集的词，保证测试时效果可信度
for text in x_train:
    for word in text:
        word_set.add(word)
max_word=len(word_set)+2
#最大词数是词典数+2，因为有填充字符，还有未知字符，每个句子长度不一样，将其填充成长度一样的，若在测试集中有词典中未出现的词，设置为未知符号

word_list=list(word_set)
word_index=dict((word,word_list.index(word)+2) for word in word_list)

#将每个词对应成索引构建字典，从2开始，0是填充符，1是未知符
x_train_data=x_train.apply(lambda x:[word_index.get(word,1) for word in x])
x_test_data=x_test.apply(lambda x:[word_index.get(word,1) for word in x])

#出现词典未出现的词将其设置为1

max_len=max(len(x) for x in x_train_data)#所有评论的最大长度，将所有句子长度填充为此长度（也不一定是填充到所有评论的最大长度，选择一个适当的数据即可）

x_train_data=tf.keras.preprocessing.sequence.pad_sequences(x_train_data.values,maxlen=max_len)
x_test_data=tf.keras.preprocessing.sequence.pad_sequences(x_test_data.values,maxlen=max_len)
#填充数据，默认填充0

模型的构建与训练

model=keras.Sequential([
    layers.Embedding(max_word,50,input_length=max_len),
    layers.LSTM(64),
    layers.Dense(3,activation='softmax')
])
model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['acc'])
model.fit(x_train_data,y_train,epochs=10,batch_size=128,validation_data=(x_test_data,y_test))