简评:本文中,原文作者 Scrimba 的创始人 Per Harald Borgen 将会展示如何利用 Synaptic.js 来创建和训练神经网络,从而使我们可以在 Node.js 和浏览器中进行深度学习。
题图:一幅由 Google Dream 神经网络创建的光怪陆离
我们将尝试搭建最简单的神经网络之一 —— 一个用于解决 XOR方程 的神经网络。
看代码之前呢,我们先温习一下神经网络的基础知识:
神经元和突触
构建神经网络的第一个块是神经元。神经元就像一个函数,它需要输入,然后返回输出。
有许多不同类型的神经元。我们的网络将使用 sigmoid 神经元,不管给定任何输入,都会输出 0 或者 1。
下图是一个 Sigmoid 函数,输入 5 输出 1。箭头称为突触,将神经元连接到网络中的其他层。
那么,会什么左边的输入是 5 呢?因为它是连接到到神经元的三个突触的总和。
输入乘以它们的权重就是人造神经元的总输入。
由于这是一个 Sigmoid 神经元,它能将任何值压缩在 0 和 1 之间。
如果将这些神经元的网络连接在一起,那么一个神经网络就诞生了。神经元通过突触相互连接,从输入到输出:
这个神经网络的目标是训练它来进行事件概括,例如识别手写数字或垃圾邮件。你只需要用大量例子来训练网络,之后就能让网络预测正确的答案。
在每次预测之后,根据预测的错误,调整权重和偏差值,以便网络在下一次会更准确地猜测。这种学习过程称为 backpropagation(反向传播),做几千次就差不多了。
backpropagation 技术就不展开了,感兴趣的话可以查看以下资料:
- A Step by Step Backpropagation Example — by Matt Mazur
- Hackers Guide to Neural Nets — by Andrej Karpathy
- NeuralNetworks And DeepLarning — by Michael Nielsen
代码
有了基本概念后,现在我们开始 coding。
第一件事就是创建图层。我们使用 new Layer() 来实现。传递给函数的数字决定了每层应该有多少个神经元:
const { Layer, Network } = window.synaptic;
var inputLayer = new Layer(2);
var hiddenLayer = new Layer(3);
var outputLayer = new Layer(1);
接下来,我们将这些层连接在一起并实例化一个新的网络,如下所示:
inputLayer.project(hiddenLayer);
hiddenLayer.project(outputLayer);
var myNetwork = new Network({
input: inputLayer,
hidden: [hiddenLayer],
output: outputLayer
});
这是一个 2-3-1 网络,可以像这样可视化:
现在我们来训练网络:
// train the network - learn XOR
var learningRate = .3;
for (var i = 0; i < 20000; i++) {
// 0,0 => 0
myNetwork.activate([0,0]);
myNetwork.propagate(learningRate, [0]);
// 0,1 => 1
myNetwork.activate([0,1]);
myNetwork.propagate(learningRate, [1]);
// 1,0 => 1
myNetwork.activate([1,0]);
myNetwork.propagate(learningRate, [1]);
// 1,1 => 0
myNetwork.activate([1,1]);
myNetwork.propagate(learningRate, [0]);
}
这里我们运行 20000 次,每次我们都向前和向后四次,传递可能的四个输入:[0,0] [0,1] [1,0] [1,1] 。
我们从 myNetwork.activate([0,0]) 开始。数据 [0,0] 是正向传播,也称为激活网络。在每次向前传播之后,我们需要进行反向传播,网络会更新权重和偏差。
反向传播是用这一行代码完成的:
myNetwork.propagate(learningRate, [0])
learningRate 是一个常数,告诉网络每次应该调整多少权重。参数 0 表示当输入 [0,0] 时正确的输出。
之后网络将自己的预测与正确的标签进行比较,然后就知道什么是对的了。
这个比较将作为校正权重和偏差值的基础,以便下次猜测会更准确一些。
完成 20000 次学习后,我们就可以检查下网络的学习情况:
console.log(myNetwork.activate([0,0]));
-> [0.015020775950893527]
console.log(myNetwork.activate([0,1]));
->[0.9815816381088985]
console.log(myNetwork.activate([1,0]));
-> [0.9871822457132193]
console.log(myNetwork.activate([1,1]));
-> [0.012950087641929467]
如果我们将这些输入值四舍五入到最接近的整数,我们将得到 XOR 方程的正确答案。
这是个很初级的神经网络,不过也足够自己开始玩 Synaptic 了,感兴趣的话还可以看这个 wiki,里面有很多很好的教程。
原文链接:How to create a Neural Network in JavaScript in only 30 lines of code
推荐阅读:
- 教你用 Web Speech API 和 Node.js 来创建一个简单的 AI 聊天机器人
- 3 个在 JavaScript 面试前应该知道的问题