Alink 如何读写 LIBSVM 格式数据?

Alink 是基于 Flink 的机器学习算法平台,欢迎访问 Alink 的 GitHub 获取更多信息。本文主要分享 Alink 的使用技巧之一,Alink 如何读写 LIBSVM 格式数据。LIBSVM 数据格式就是 LIBSVM(csie.ntu.edu.tw/~cjlin/)使用的数据格式,是机器学习领域中比较常见的一种形式。其格式定义如下:

第一项

下面是几条符合 LIBSVM 格式的数据。

1 1:-0.555556 2:0.5 3:-0.79661 4:-0.916667
1 1:-0.833333 3:-0.864407 4:-0.916667
1 1:-0.444444 2:0.416667 3:-0.830508 4:-0.916667
1 1:-0.611111 2:0.0833333 3:-0.864407 4:-0.916667
2 1:0.5 3:0.254237 4:0.0833333
2 1:0.166667 3:0.186441 4:0.166667
2 1:0.444444 2:-0.0833334 3:0.322034 4:0.166667

注意这条数据:

2 1:0.5 3:0.254237 4:0.0833333

没有索引值为2的项,表明第2个特征值为0。

我们将 csie.ntu.edu.tw/~cjlin/ 下载到本地,命名为 iris.scale.libsvm。通过调用 LibSvmSourceBatchOp 读取数据,只需指定一个参数,即文件的路径。并取其前3条数据进行打印显示。

iris_libsvm = LibSvmSourceBatchOp()\
    .setFilePath("/Users/yangxu/alink/data/iris/iris.scale.libsvm")
iris_libsvm.firstN(3).print()

输出结果如下,最左边为打印显示的数据索引号,接下来是数据的标签列(列名自动命名为 label),然后是数据的特征数据列(列名自动命名为 features)。

Alink 如何读写 LIBSVM 格式数据?_第1张图片

下面,我们对原始的数据采样10条数据,然后使用 LibSvmSinkBatchOp 保存采样的结果,注意,这里除了保存的路径还要指定三个参数,前两个是数据的标签列名称和特征数据列名称,最后一个参数 OverwriteSink,表示保存操作执行时,如果目标文件已经存在,是否进行覆盖。在脚本的最后,调用 BatchOperator.execute(),执行任务。

iris_libsvm \
.sampleWithSize(10) \
.link(
    LibSvmSinkBatchOp()\
    .setFilePath("/Users/yangxu/alink/data/iris/iris.scale.sample.libsvm")\
    .setLabelCol('label')\
    .setVectorCol('features')\
    .setOverwriteSink(True)
)

BatchOperator.execute()

最后,我们验证一下保存的结果文件,即读取 iris.scale.sample.libsvm 并打印输出。

LibSvmSourceBatchOp().setFilePath("/Users/yangxu/alink/data/iris/iris.scale.sample.libsvm").print()

输出结果为:

Alink 如何读写 LIBSVM 格式数据?_第2张图片

以上。Alink 是基于 Flink 的机器学习算法平台,欢迎访问 Alink 的 GitHub 链接获取更多信息。也欢迎加入 Alink 开源用户群进行交流~

Alink GitHub 链接:
https://github.com/alibaba/Alink

▼ 钉钉扫码加入 Alink 技术交流群 ▼

你可能感兴趣的:(机器学习)