Tensorflow——读取csv文件作为数据集

最近需要完成一个机器学习相关的项目，初次接触Tensorflow框架，使用Python语言进行编程，由于笔者也是初次接触这个东西，所以打算着手写一套系列的笔记。
在Tensorflow框架中，完成任何一个机器学习的目标任务都需要首先读取大量的学习数据，最为常用的就是CSV格式的文件了，他是利用逗号作为分隔符进行储存的文件格式。

在读取csv文件的时候，如果所需要处理的数据集的规模比较小，我们可以考虑引入python中强大的数据处理包pandas

import pandas as pd

接下来读取csv文件即可

f = pd.read_csv('tag_data.csv', header=None)
print(f)

接下来就可以看到输出内容了

然而对于一些数据量十分庞大的数据集或者多个csv文件来说，我们则需要采用另外一种手段进行数据集的加载。因为使用pandas加载的数据集是直接读取到内存之中，如果使用下面的方法进行加载则可以更加高效访问数据集。
我们直接使用tensorflow中的数据集tf.data.Dataset进行操作

dataset = tf.data.TextLineDataset('tag_data.csv').skip(1)
for item in dataset:
    print(item.numpy())

在上面的代码中，通过tf.data.TextLineDataset方法读取相关的csv文件，其中文件名可以不止填写一个文件名，可以组成一个文件名列表作为参数，这样tensorflow就会把多个文件组合成一个dataset，例子在下面介绍。对于后面的.skip()方法，传入的参数决定跳过的行数，因为csv文件往往都带有一行header，这个header内容往往和下面的数据无关，需要忽略，所以我们使用.skip()方法来实现这一目的。通过这样的操作得到的dataset变量是一个tensor类型的变量，可以迭代，所以紧接着我们通过for循环对dataset变量进行遍历，print()方法里面的.numpy()方法将tensor对象用numpy格式进行解析，这样就可以方便得到我们需要的数据，numpy类型的变量实际上是一串字节字符串。

多个csv文件的读取

示例代码如下所示

dataset = tf.data.TextLineDataset(['tag_data.csv', 'output_test.csv']).skip(1)
for item in dataset:
    print(item.numpy())

上面的例子展示了两个csv文件的读取，输出结果如下：

输出的内容就是两个csv文件的组合。如果像我这样数据集十分庞大，不希望全部显示出来，我们可以使用.take()方法实现，示例如下：

dataset = tf.data.TextLineDataset(['tag_data.csv', 'output_test.csv']).skip(1)
for item in dataset.take(5):
    print(item.numpy())

注意到在for循环进行迭代的过程中，dataset后面我们添加了take()方法，参数是需要进行迭代的数量，这里以5为例，输出结果如下：

程序最终输出了5行，符合我们的预期

如何解析字符串中的数字

前面讲述了如何读取并且合并多个csv文件作为数据集，当我们通过print方法查看dataset中的每一个元素的时候，发现其并不是直接可以参加运算的int类型或者float类型之类的值，而是一个字符串，因此我们还需要对生成的dataset中的元素进行解析（parse）
我们需要用到tf.io.decode_csv(str, record_defaults)方法，其中第一个参数str是我们想要进行解析的字符串，第二个参数record_default是填写针对于每一个数据单元我们所希望生成的数据格式。这部分的设置可以参考tensorflow官网给出的具体解释https://tensorflow.google.cn/versions/r2.0/api_docs/python/tf/data/TextLineDataset

record_default = [0.0] * 338
for item in dataset.take(10):
    parsed_output = tf.io.decode_csv(item.numpy(), record_default)
    vector = tf.stack(parsed_output[2:10])  # 切片取其中一小段组成行向量
    print(vector)

代码中，record_default变量的含义就是定义每一个数据单元的所需要解析成的数据类型，这里面直接用0.0组成的长度为338的列表就一一对应数据集每一行每一个数据单元所解析的类型。这里的338是笔者数据集（csv文件）每一行的数据个数，使用时需要换成自己数据集每一行的元素个数。

tf.stack()方法可以将解析后的数据组合成一个一维向量形式，只管来说可以把csv文件中的每一行数据都分别组成一个一维向量形式。
输出效果如下：

这样我们就实现了解析csv文件的内容，将csv读出的内容转化为numpy字符串形式，再将字符串形式转换为我们所需要的数据类型，并且按照需要组合成行向量的形式，方便后续tensorflow进行数据集的运算。

另一种极简方式

record_default = [[0.0]] * 338
ds = tf.data.experimental.CsvDataset(['tag_data.csv', 'output_test.csv'], record_default, header=True)
ds = ds.map(lambda *items: tf.stack(items[2:]))

通过这种方式生成的dataset是一个完整的dataset，可以直接用于训练。