DL4J中文文档/DataVec/运算

使用

运算,就像一个函数,帮我们执行一个转换并加载数据到数据向量。运算的概念是很底层的,这意味着大多数时间你不需要关心它们。

加载数据到Spark如果你正在使用Apache Spark,函数将迭代数据集并加载它到一个Spark RDD里并把原始数据转换为一个Writable。

import org.datavec.api.writable.Writable;
import org.datavec.api.records.reader.impl.csv.CSVRecordReader;
import org.datavec.spark.transform.misc.StringToWritablesFunction;

SparkConf conf = new SparkConf();
JavaSparkContext sc = new JavaSparkContext(conf)

String customerInfoPath = new ClassPathResource("CustomerInfo.csv").getFile().getPath();
JavaRDD> customerInfo = sc.textFile(customerInfoPath).map(new StringToWritablesFunction(rr));

以上代码加载一个CSV文件到一个 2D java RDD。一旦你的RDD被加载,你可以转换它,执行连接并使用缩减器以任何方式处理数据。

可用的运算


AggregableCheckingOp 可聚合检查运算

[源码]

Created by huitseeker on 5/8/17.


AggregableMultiOp 可聚合多运算

[源码]

在相同的列上以并行方式来执行一些降维运算

Created by huitseeker on 5/8/17.


ByteWritableOp

[源码]

支持转换为字节码运算

Created by huitseeker on 5/14/17.


DispatchOp

[源码]

Created by huitseeker on 5/14/17.


DispatchWithConditionOp 有条件分派运算

[源码]

Created by huitseeker on 5/14/17.


DoubleWritableOp

[源码]

支持转换为双精度类型运算

Created by huitseeker on 5/14/17.


FloatWritableOp

[源码]

支持转换为浮点类型运算

Created by huitseeker on 5/14/17.


IntWritableOp

[源码]

支持转换为整型运算

Created by huitseeker on 5/14/17.


LongWritableOp

[源码]

支持转换为长整型运算

Created by huitseeker on 5/14/17.


StringWritableOp

[源码]

支持转换为TextWritable运算

Created by huitseeker on 5/14/17.


CalculateSortedRank

[源码]

计算每个实例在排序之后的排名。例如,我们可能有一些数字“分数”列,并且我们想知道每个实例按列的排序。每个实例的排名将会添加到一个新的长整型列。从0开始索引;实列将有0到数据大小减一的值。当前CalculateSortedRank只能应用在一个标准的(非序列)数据上。此外当前的实现只能在一个列上排序。

transform
public Schema transform(Schema inputSchema) 

  • 参数newColumnName是新列的名称(将包括每个实例的排名)
  • 参数sortOnColumn是用来排序的列名
  • 参数comparator是用来排序实例的比较器
outputColumnName
public String outputColumnName() 

运算应用后的输出列名

  • 返回输出列名
columnName
public String columnName() 

输出列名,这通常与输入列名一样。

  • 返回输出列名

有任何问题请联系微信

DL4J中文文档/DataVec/运算_第1张图片
image

如果您觉得我的文章给了您帮助,请为我买一杯饮料吧!以下是我的支付宝,意思一下我将非常感激!

DL4J中文文档/DataVec/运算_第2张图片
image

你可能感兴趣的:(DL4J中文文档/DataVec/运算)