LSTM 模型“实现”整数相加运算
文章简介
本文主要介绍了使用 LSTM 模型完成简单的两个整数相加的运算。
数据准备
为了满足模型训练的需要，应该准备 50000 条样本，每个样本包含 query 字符串和 ans 字符串，如下所示：
query：52+758
ans: 810
我们这里限定了加法运算的两个整数都是 1-999 的任意一个整数，所以 query 的长度最长为 7 （两个最大的三位数和一个加号组成的字符串长度），ans 的长度最长为 4 ，如果长度不足，则在后面用空格补齐。关键代码如下：
while len(questions) < TRAINING_SIZE:
f = lambda: int("".join(np.random.choice(list("1234567890")) for _ in range(np.random.randint(1, DIGITS + 1))))
a, b = f(), f()
...
q = "{}+{}".format(a, b)
query = q + " " * (MAXLEN - len(q))
ans = str(a + b)
ans += " " * (DIGITS + 1 - len(ans))
questions.append(query)
expected.append(ans)
样本创建好之后，需要对样本进行向量化处理，也就是将每个字符都转换成对应的 one-hot 表示，因为每个样本的 query 长度为 7 ，字符集合长度为 12 ，所以每个 query 改成 [7,12] 的 one-hot 向量；每个样本的 ans 长度为 4 ，字符集合长度为 12 ，所以每个 ans 改成 [4,12] 的 one-hot 向量。关键代码如下：
x = np.zeros((len(questions), MAXLEN, len(chars)), dtype=np.bool)
y = np.zeros((len(questions), DIGITS + 1, len(chars)), dtype=np.bool)
for i, sentence in enumerate(questions):
x[i] = ctable.encode(sentence, MAXLEN)
for i, sentence in enumerate(expected):
y[i] = ctable.encode(sentence, DIGITS + 1)
模型搭建
模型结构很简单，主要使用了 LSTM 层、RepeatVector 层、 Dense 层，都是基础知识，不做过多解释，编译模型时候设置损失函数为categorical_crossentropy，优化器为 adam 优化器，评估指标为准确率accuracy 关键代码如下：
model = keras.Sequential()
model.add(layers.LSTM(128, input_shape=(MAXLEN, len(chars))))
model.add(layers.RepeatVector(DIGITS + 1))
model.add(layers.LSTM(128, return_sequences=True))
model.add(layers.Dense(len(chars), activation="softmax"))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
模型训练
选取 90% 的样本为训练集， 10% 的样本为测试集，下面是模型训练的日志打印：
Iter 1
1407/1407 [==============================] - 11s 6ms/step - loss: 1.7796 - accuracy: 0.3499 - val_loss: 1.5788 - val_accuracy: 0.4065
Iter 2
1407/1407 [==============================] - 9s 6ms/step - loss: 1.3928 - accuracy: 0.4762 - val_loss: 1.2489 - val_accuracy: 0.5346
...
Iter 28
1407/1407 [==============================] - 9s 6ms/step - loss: 0.0205 - accuracy: 0.9944 - val_loss: 0.0257 - val_accuracy: 0.9917
Iter 29
1407/1407 [==============================] - 9s 6ms/step - loss: 0.0256 - accuracy: 0.9926 - val_loss: 0.0747 - val_accuracy: 0.9827
效果展示
下面展示了 10 条样本结果，预测正确的有 ☑ 表示，预测错误的有 ☒ 表示，可以看出来结果基本正确，最终的验证集准确率能达到 0.9827 。
Q 537+65 A 602 ☑ 602
Q 0+998 A 998 ☑ 998
Q 50+691 A 741 ☑ 741
Q 104+773 A 877 ☑ 877
Q 21+84 A 105 ☑ 105
Q 318+882 A 1200 ☑ 1200
Q 850+90 A 940 ☑ 940
Q 96+11 A 107 ☒ 907
Q 1+144 A 145 ☑ 145
Q 809+4 A 813 ☑ 813
参考
https://github.com/wangdayaya/DP_2023/blob/main/NLP%20%E6%96%87%E7%AB%A0/Sequence%20to%20sequence%20learning%20for%20performing%20number%20addition.py