Datawhale--AI夏令营学习笔记（一）--NLP方向

实践任务

基于论文摘要的文本分类与关键词抽取挑战赛
https://challenge.xfyun.cn/topic/info?type=abstract-of-the-paper&ch=ZuoaKcY

赛题解析

1.赛事背景
医学领域的文献库中蕴含了丰富的疾病诊断和治疗信息，如何高效地从海量文献中提取关键信息，进行疾病诊断和治疗推荐，对于临床医生和研究人员具有重要意义。
2.赛事任务
本任务分为两个子任务：

• 机器通过对论文摘要等信息的理解，判断该论文是否属于医学领域的文献。
• 提取出该论文关键词。

第一个任务看作是一个文本二分类任务。机器需要根据对论文摘要等信息的理解，将论文划分为医学领域的文献和非医学领域的文献两个类别之一。第二个任务看作是一个文本关键词识别任务。机器需要从给定的论文中识别和提取出与论文内容相关的关键词。
3.数据解析
训练集与测试集数据为CSV格式文件，各字段分别是标题(title)、作者(author)和摘要(abstract)。Keywords为任务2的标签，label为任务1的标签。

baseline

由于比赛A榜单的test集数据已经包含Keywords的缘故，所以我们只需要集中精力解决任务1。
解下来的代码是结合传统的特征提取方法和机器学习模型：

1.数据预处理

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳
from sklearn.feature_extraction.text import CountVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

# 读取数据集
train = pd.read_csv('dataset/train.csv')
train['title'] = train['title'].fillna('')  # 将缺失值用空字符串填充
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('dataset/test.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')

2.特征提取及数据集划分

# 提取文本特征，生成训练集与测试集
train['text'] = train['title'].fillna('') + ' ' + train['author'].fillna('') + ' ' + train['abstract'].fillna('') + ' ' + train['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' + test['author'].fillna('') + ' ' + test['abstract'].fillna('') + ' ' + train['Keywords'].fillna('')

# 使用CountVectorizer来进行文本特征提取。CountVectorizer是一种文本特征提取方法，它将文本数据转换为基于词频的稀疏矩阵表示。在这里，它会将文本数据中的每个单词作为特征，并计算每个单词在每个样本中出现的次数。
vector = CountVectorizer().fit(train['text'])  # 使用fit方法对train数据集中的文本进行拟合，以获取训练集上的特征词汇，并构建词频统计。
train_vector = vector.transform(train['text'])  # 使用transform方法对train和test数据集中的文本进行转换，将文本转换为词频矩阵。
test_vector = vector.transform(test['text'])

3.模型训练与预测

# 引入模型
model = LogisticRegression()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)

4.结果保存

# 生成任务一推测结果
test[['uuid', 'Keywords', 'label']].to_csv('result/submit_task1.csv', index=None)

至此，使用机器学习的baseline成果完成预测，将结果提交到平台进行评测，得分为0.99384
后续我会继续学习如何使用预训练语言模型Bert来进行文本二分类问题