Spark Mlib-BP

Spark Mlib-BP
Q：什么是人工神经网络？
A：人工神经网络是科学及模拟人类大脑的神经神经网络建立的数学模型。人工神经网络由一个个“人工神经元”组合而成。“人工神经元”也是一个数学模型，其本质是一个函数。所以人工神经网络的本质也是一个函数，而且是一个复杂的，包含很多变量和参数的函数。

5000. {failImgCache = [];}if(failImgCache.indexOf(src) == -1 && src.trim().length){failImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-error').removeClass('md-img-loaded'); " onload="var src = window.removeLastModifyQuery(this.getAttribute('src'));if(!src.trim()) return;if(loadedImgCache.indexOf(src) == -1 && src.trim().length){loadedImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-loaded').removeClass('md-img-error');" style="box-sizing: border-box; border-width: 0px 4px 0px 2px; border-right-style: solid; border-left-style: solid; border-right-color: transparent; border-left-color: transparent; vertical-align: middle; max-width: 100%; cursor: default;">
      Q：什么是人工神经元？
      A：人工神经元是人工神经网络的基本单元，其本质也是一个函数。类似人类大脑的神经元，人工神经元模型也有树突、轴突、神经元中心等结构。最经典的神经元模型是“M-P神经元模型”。
5001. {failImgCache = [];}if(failImgCache.indexOf(src) == -1 && src.trim().length){failImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-error').removeClass('md-img-loaded'); " onload="var src = window.removeLastModifyQuery(this.getAttribute('src'));if(!src.trim()) return;if(loadedImgCache.indexOf(src) == -1 && src.trim().length){loadedImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-loaded').removeClass('md-img-error');" style="box-sizing: border-box; border-width: 0px 4px 0px 2px; border-right-style: solid; border-left-style: solid; border-right-color: transparent; border-left-color: transparent; vertical-align: middle; max-width: 100%; cursor: default;">
      一个神经元接收来自其他神经元传来的信号（变量），通过树突传输（参数）到神经元中心（参数），经过转换后（映射f），通过突触传递出去（函数值）。上图中红色的函数表达式就是一个人工神经元的数学表达。
      由上述神经元工作过程可知，一个神经元的可以接受多个变量，输出一个结果。一个神经元的输出也可能是另一个神经元的输入。所以一个由多个神经元组成的神经网络，本质上就是一个复杂的、多层嵌套的符合函数。
      Q：神经元有哪些分类？
      A：按照神经元的层数来分，可以分为只有输入、输出层的单层网络（不计算输入层），代表是感知机；以及包含隐含层的多层网络。
      按照网络结构来分，可以分为径向基函数网络（RBF）、竞争学习网络（ART）、自组织映射网络（SOM）、级联相关网络、递归神经网络（RNN）、Boltzman机等各种各样纷繁复杂的种类。
      Q：感知机有什么作用？怎么训练一个感知机？
      A：感知机是最简单的神经网络，只有输入和输出层。一般来说，感知机用来进行二分类任务，或者实现逻辑“与”、“或”、“非”的操作。
5002. {failImgCache = [];}if(failImgCache.indexOf(src) == -1 && src.trim().length){failImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-error').removeClass('md-img-loaded'); " onload="var src = window.removeLastModifyQuery(this.getAttribute('src'));if(!src.trim()) return;if(loadedImgCache.indexOf(src) == -1 && src.trim().length){loadedImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-loaded').removeClass('md-img-error');" style="box-sizing: border-box; border-width: 0px 4px 0px 2px; border-right-style: solid; border-left-style: solid; border-right-color: transparent; border-left-color: transparent; vertical-align: middle; max-width: 100%; cursor: default;">
      感知机模型 f(x)=sign(w⋅x+b) 的输出一般是二值的，即1或-1。当自变量小于0时输出-1，否则输出1。感知机的学习的学习规则很简单，也是类似与线性回归一样，使用梯度下降的思想，每读取一个样本，计算一次预测值，就调整一次参数（权值）。
5003. {failImgCache = [];}if(failImgCache.indexOf(src) == -1 && src.trim().length){failImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-error').removeClass('md-img-loaded'); " onload="var src = window.removeLastModifyQuery(this.getAttribute('src'));if(!src.trim()) return;if(loadedImgCache.indexOf(src) == -1 && src.trim().length){loadedImgCache.push(src);}$(this).closest('.md-image').addClass('md-img-loaded').removeClass('md-img-error');" style="box-sizing: border-box; border-width: 0px 4px 0px 2px; border-right-style: solid; border-left-style: solid; border-right-color: transparent; border-left-color: transparent; vertical-align: middle; max-width: 100%; cursor: default;">
      x_i表示第i个输入，w_i表示第i个输入对应的参数（权值）。
      Q：多层网络其训练过程是怎样的？
      A：多层神经网络由于神经元层数比单层多，所欲参数更多，也意味着学习能力更强，所以能够胜任图像处理、语音识别等任务。
      最经典的多层网络徐连算法是“误差逆传播算法（BP）”。其基本思想也是通过构建关于参数的损失函数来衡量神经网络的误差，然后通过梯度下降等方法令损失函数取最小值，求得参数的取值。
      多层神经网络的参数也是按层划分的，所以参数的求解也要一层一层地进行。首先求出输出层的各个参数。然后通过输出层的参数求接触倒数第二层的参数，再通过过倒数第二层的参数求解出倒数第三层的参数，以此类推，求解出所有层的参数。
      由于参数是从输出层往后求解的，并且是通过损失函数计算出来的，因此成为误差逆传播算法。因其推导过程无比繁琐，在此不做赘述。可以参考以下博文：http://www.cnblogs.com/wentingtu/archive/2012/06/05/2536425.html
      
      

应用
import org.apache.spark.ml.classification.MultilayerPerceptronClassifierimport org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator​// Load the data stored in LIBSVM format as a DataFrame.val data = spark.read.format("libsvm") .load("data/mllib/sample_multiclass_classification_data.txt")​// Split the data into train and testval splits = data.randomSplit(Array(0.6, 0.4), seed = 1234L)val train = splits(0)val test = splits(1)​// specify layers for the neural network:// input layer of size 4 (features), two intermediate of size 5 and 4// and output of size 3 (classes)val layers = Array[Int](4, 5, 4, 3)​// create the trainer and set its parametersval trainer = new MultilayerPerceptronClassifier() .setLayers(layers) .setBlockSize(128) .setSeed(1234L) .setMaxIter(100)​// train the modelval model = trainer.fit(train)​// compute accuracy on the test setval result = model.transform(test)val predictionAndLabels = result.select("prediction", "label")val evaluator = new MulticlassClassificationEvaluator() .setMetricName("accuracy")​println("Test set accuracy = " + evaluator.evaluate(predictionAndLabels))