Python语法知识的笔记

一、re.sub函数的用法

作用：字符串替换字符，sub是单词substitute的缩写

这段代码使用了 Python 中的 re.sub 函数，该函数用于在字符串中进行正则表达式替换。

re.sub("\d+", "", text_data)

解释如下：

re.sub 是正则表达式模块 re 中的一个函数，用于替换字符串中匹配正则表达式的部分。
\d+ 是一个正则表达式，表示匹配一个或多个数字。
“” 是替换字符串，表示将匹配到的数字替换为空字符串。
text_data 是要进行替换操作的原始文本数据。
因此，这行代码的作用是将 text_data 中所有的数字（包括一个或多个连续的数字）替换为空字符串，从而移除文本中的所有数字。例如，如果 text_data 是 “abc123xyz456”，那么经过这个操作后，结果将是 “abcxyz”。

二、.strip()函数的用法

作用：去除字符串两侧的空白字符（空格、制表符、换行符等）

word.strip() 是字符串方法，用于去除字符串两侧的空白字符（空格、制表符、换行符等）。在文本处理中，这通常是为了确保字符串的纯粹性，去除可能存在的额外空格，使得文本处理更加准确。

例如，如果有一个字符串：

word = "  Hello  "
result = word.strip()
print(result)

输出将是：

Hello

三、jieba.cut()函数

作用：用于对文本进行分词，cut_all=False 表示采用精确模式，即尽量将文本切分成意义明确的词语

text_data = list(jieba.cut(text_data,cut_all=False)) 

这段代码使用了中文分词工具 jieba 来对文本进行分词，并将结果存储在一个列表中。让我逐步解释这行代码：

jieba.cut(text_data, cut_all=False): 这部分调用了 jieba 的 cut 函数，用于对文本进行分词。其中的参数是 text_data，即待分词的文本数据。cut_all=False 表示采用精确模式，即尽量将文本切分成意义明确的词语。

list(…): 将分词结果转换为列表。jieba.cut 返回的是一个生成器（generator），通过将其转换为列表，我们可以方便地遍历和处理分词结果。

综合起来，整个代码的作用是将 text_data 中的中文文本进行分词，并将分词结果存储在一个列表中。例如，如果 text_data 是一个包含中文文本的字符串，比如 “我喜欢自然语言处理”，那么执行这段代码后，得到的列表可能类似于 [‘我’, ‘喜欢’, ‘自然语言处理’]。每个词语都是列表中的一个元素。这样的分词通常是为了进一步对文本进行文本分析或处理。

四、" ".join()函数

作用：连接列表元素时使用空格作为连接符，或列表中的元素将会以空格为分隔符被连接成一个字符串

" ".join(text_data) 是将列表 text_data 中的元素连接成一个字符串的操作。具体来说，这行代码使用了字符串的 join 方法，其中：

" " 是连接符，表示在连接列表元素时使用空格作为分隔符。
text_data 是一个包含字符串或词语的列表。
执行这行代码后，列表中的元素将会以空格为分隔符被连接成一个字符串。

例如，如果 text_data 是 [‘I’, ‘love’, ‘NLP’]，那么执行 " ".join(text_data) 将得到字符串 ‘I love NLP’。

这样的操作常用于将分词后的词语重新组合成一个字符串，以便后续的文本处理任务，比如构建词袋模型、进行文本的向量化表示等。

五、.map()函数的用法

作用：Pandas 的 map 方法，将文本标签映射为数字编码

labelMap = {"体育": 0,"娱乐": 1,"家居": 2,"房产": 3,"教育": 4,
            "时尚": 5,"时政": 6,"游戏": 7,"科技": 8,"财经": 9}
train_df["labelcode"] =train_df["label"].map(labelMap)

这段代码涉及到 Pandas 中的数据操作，主要是将文本标签映射成数字编码，并将新的编码列加入到 DataFrame 中。

labelMap = {“体育”: 0, “娱乐”: 1, “家居”: 2, “房产”: 3, “教育”: 4, “时尚”: 5, “时政”: 6, “游戏”: 7, “科技”: 8, “财经”: 9}:

这里创建了一个字典 labelMap，将文本标签映射成对应的数字编码。
train_df[“labelcode”] = train_df[“label”].map(labelMap):

这行代码使用了 **Pandas 的 map 方法，**将 DataFrame 中 “label” 列的每个元素根据 labelMap 字典进行映射，生成新的 “labelcode” 列。
train_df[“label”] 是 DataFrame 中的 “label” 列，表示文本数据的标签。
.map(labelMap) 将 “label” 列中的每个元素根据 labelMap 字典映射成相应的数字编码。
train_df[“labelcode”] 是将新的编码列添加到 DataFrame 中，列名为 “labelcode”。
举例说明，如果原始的 DataFrame train_df 包含 “label” 列，其元素可能是类似于[“体育”, “科技”, “娱乐”, …]的文本标签。执行上述代码后，DataFrame 将新增一个 “labelcode” 列，其中的元素将对应着相应标签的数字编码，例如[0, 8, 1, …]。这种将文本标签映射为数字编码的操作通常在机器学习中用于处理分类任务中的标签

六、.to_csv(“data/lstm/cnews_test2.csv”,index=False)这里index=False的作用

作用：行索引不会被保存到 CSV 文件中

test_df[["labelcode","cutword"]].to_csv("data/lstm/cnews_test2.csv",index=False)

在 Pandas 中，to_csv 方法用于将 DataFrame 对象保存为 CSV 文件。参数 index 控制是否保存行索引（row index）到 CSV 文件中。

如果 index=True（默认值），则行索引将被保存到 CSV 文件中。
如果 index=False，则行索引不会被保存到 CSV 文件中。

test_df[[“labelcode”, “cutword”]].to_csv(“data/lstm/cnews_test2.csv”, index=False)
index=False 的设置表示不保存行索引到生成的 CSV 文件中。这通常有助于生成更整洁、更易读的 CSV 文件，特别是在处理较大的数据集时。如果不需要在文件中保存行索引，将 index 参数设置为 False 是一种常见的做法。

七、.split()函数的用法

作用：将字符串分割成子字符串，默认使用空格作为分隔符

在 Python 中，字符串的 .split() 方法用于将字符串分割成子字符串，并返回一个包含分割后子字符串的列表。默认情况下，它使用空格作为分隔符，但你也可以指定其他分隔符。

语法：

string.split([separator[, maxsplit]])

参数：

separator（可选）：指定分隔符，默认为所有空白字符（空格、制表符、换行符等）。
maxsplit（可选）：指定分割的次数。如果提供了此参数，字符串将被分割为最多 maxsplit + 1 个部分。
返回值：

返回一个包含分割后子字符串的列表。
示例：

text = "Hello World"
words = text.split()  # 默认以空格分割
print(words)  # 输出: ['Hello', 'World']

csv_data = "apple,orange,banana"
fruits = csv_data.split(",")  # 以逗号分割
print(fruits)  # 输出: ['apple', 'orange', 'banana']

sentence = "This is a sample sentence."
tokens = sentence.split(" ", 2)  # 最多分割成3个部分
print(tokens)  # 输出: ['This', 'is', 'a sample sentence.']

在上述示例中，.split() 方法被用于按空格或逗号分割字符串，生成包含分割后部分的列表。你可以根据具体的分割需求选择合适的分隔符。

八、使用 torchtext 库定义的两个 Field 对象，用于处理文本数据的预处理

TEXT = data.Field(sequential=True, tokenize=mytokenize, 
                  include_lengths=True, use_vocab=True,
                  batch_first=True, fix_length=400)
LABEL = data.Field(sequential=False, use_vocab=False, 
                   pad_token=None, unk_token=None)

TEXT 对象:

TEXT = data.Field(
    sequential=True,          # 表示这是一个序列数据（文本是序列）
    tokenize=mytokenize,      # 分词函数
    include_lengths=True,     # 是否在返回的数据中包括文本序列的长度
    use_vocab=True,           # 是否使用词汇表
    batch_first=True,         # 在生成的 batch 数据中将序列长度放在第一个维度
    fix_length=400            # 将文本长度固定为 400，进行填充或截断
)

sequential=True: 表示这是一个序列数据，用于处理文本序列。
tokenize=mytokenize: 分词函数，这里是使用名为 mytokenize 的函数进行分词。
include_lengths=True: 表示生成时将文本序列的长度包括在返回的数据中。
use_vocab=True: 表示使用词汇表来映射词语到数字。
batch_first=True: 表示在生成的 batch 数据中将序列长度放在第一个维度。
fix_length=400: 将文本长度固定为 400，如果长度小于 400 则在后面填充，如果大于 400 则截断。

LABEL 对象:

LABEL = data.Field(
    sequential=False,   # 表示这不是一个序列数据
    use_vocab=False,     # 不使用词汇表
    pad_token=None,      # 不进行填充
    unk_token=None       # 不处理未知标记
)

sequential=False: 表示这不是一个序列数据，用于处理标签数据。
use_vocab=False: 表示不使用词汇表，因为标签通常是类别标识而不是词语。
pad_token=None: 表示不进行填充，因为标签通常不需要和文本一样的处理。
unk_token=None: 表示不处理未知标记，同样因为标签通常不包含未知标记。
这些设置用于定义如何处理文本和标签数据，以便后续用于神经网络的训练或其他自然语言处理任务。

九、data.TabularDataset.splits()的用法

traindata,valdata,testdata = data.TabularDataset.splits(
    path="data/lstm", format="csv", 
    train="cnews_train2.csv", fields=text_data_fields, 
    validation="cnews_val2.csv",
    test = "cnews_test2.csv", skip_header=True
)

作用：创建 TabularDataset 对象，返回三个 TabularDataset 对象，分别对应训练、验证和测试数据集

data.TabularDataset.splits 是 torchtext 库中用于加载表格型数据（比如 CSV 文件）的函数。它用于创建 TabularDataset 对象，这是一个 torchtext 中用于处理表格数据的类。具体来说：

mytokenize = lambda x: x.split()
TEXT = data.Field(sequential=True, tokenize=mytokenize, 
                  include_lengths=True, use_vocab=True,
                  batch_first=True, fix_length=400)
LABEL = data.Field(sequential=False, use_vocab=False, 
                   pad_token=None, unk_token=None)
## 对所要读取的数据集的列进行处理
text_data_fields = [
    ("labelcode", LABEL), # 对标签的操作
    ("cutword", TEXT) # 对文本的操作
]


traindata, valdata, testdata = data.TabularDataset.splits(
    path="data/lstm",          # 数据集所在的路径
    format="csv",              # 数据集的格式
    train="cnews_train2.csv",  # 训练数据的文件名
    fields=text_data_fields,   # 对数据集的每一列的处理方式
    validation="cnews_val2.csv",# 验证数据的文件名
    test="cnews_test2.csv",    # 测试数据的文件名
    skip_header=True           # 是否跳过文件的头部行
)

解释每个参数的含义：

path: 数据集所在的路径。
format: 数据集的格式，这里是 CSV 文件。
train, validation, test: 分别指定训练、验证和测试数据的文件名。
fields: 指定对每一列的处理方式，这里是 text_data_fields。
skip_header: 是否跳过文件的头部行，这里设置为 True，表示跳过头部行。
调用 data.TabularDataset.splits 将返回三个 TabularDataset 对象，分别对应训练、验证和测试数据集。这些对象可以被用于后续的文本处理和模型训练。

十、plt.xticks()函数的用法

作用：设置x轴刻度标签的样式

plt.xticks(rotation = 90,fontproperties = fonts,size = 10)

rotation=90：将 x 轴刻度标签旋转 90 度，使其垂直显示。这通常用于解决标签文字过长而无法水平完全显示的问题。
fontproperties=fonts：指定字体属性，fonts 应该是一个字体属性对象。这可以用于设置标签的字体。
size=10：设置刻度标签的字体大小为 10。
这行代码的目的是美化图表，确保 x 轴的标签以更清晰和可读的方式显示，特别是当标签比较长或者需要旋转时。