深度学习一：自己写java代码，训练一个神经元

神经网络与深度学习这本书是我学习深度学习的启蒙教材，感兴趣可以到链接出下载。通过一段时间的学习，感觉基本理解了梯度下降算法和反向传播算法，于是尝试着自己写代码来实现神经网络。一开始总是很难的，所以我设计了个非常简单的目标，训练一个神经元。比如我给他输入1，我期望它输出0，这就是一个反相器。我希望它能做到这一点，所以我对他进行训练。
训练一个神经元能简化梯度下降算法和反向传播算法的实现，也能帮助我们更好的理解升经这两个算法。对于初学深度学习的人来说，勇敢的迈出第一步非常的重要，因此，如果你能成功的训练一个神经元，那也意味着你在深度学习的学习中迈出了重要的一步。
关于梯度下降算法和反向传播算法，还是需要你认真阅读推荐的书籍，这两个算法是深度学习的基石，一定要彻底弄懂才行。
如果在网页上代码不太好看，你可以在这里下载源码：
源码

首先定义一个神经元类：

public class NeureCell {
	private double w = 0;
	private double b = 0;
	private double out = 0;
	private int in = 0;
	public void setIn(int in){
		this.in = in;
	}
	public void setWandB(double w,double b){
		this.w = w;
		this.b = b;
	}
	public double getW(){return w;}
	public double getB(){return b;}
	public double getOut(){
		double z = in*w+b;
		return 1/(1+Math.exp(-z));
	}
}

使用梯度下降算法训练神经网络

import java.util.Random;

public class DeepLearn {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		NeureCell cell = new NeureCell();
		Random random = new Random();
		//init w and b
		double eta = 3;//learn speed
		cell.setWandB(random.nextDouble(), random.nextDouble());
		cell.setIn(1);
		double a0 = cell.getOut();
		double dw = 0.2*eta*a0;	
		double db = 0.2*eta*a0;	
		cell.setWandB(cell.getW()-dw, cell.getB()-db);
		for(int i=0;i<200;i++){
			cell.setIn(1);
			double ai = cell.getOut();
			dw = 0.2*eta*ai;	
			db = 0.2*eta*ai;	
			cell.setWandB(cell.getW()-dw, cell.getB()-db);
			System.out.println(ai);
		}
		
	}

}

结果如下：

可以看到这个输出越来越接近与0了。
这里使用的是最简单的二次代价函数：

反向传播算法可以概括为一下五步：

如果你能理解这五步，那么你就会明白，这点代码完全就是按照这个步骤做了一遍而已。

---

我最新重写的卷积神经网络CupCnn在mnist准确率可达99%了，CupCnn也是用java写的，但是代码更规范，更加模块化，以下是CupCnn在github上的地址，欢迎大家下载：
CupCnn
更多详情请参考我的博文：
java写卷积神经网络—CupCnn简介