【人工智能原理自学】激活函数：给机器注入灵魂

你好，我是小航，一个正在变秃、变强的文艺倾年。
笔记来自B站UP主Ele实验室的《小白也能听懂的人工智能原理》。
本文讲解激活函数：给机器注入灵魂，一起卷起来叭！

一、“分类”

人在思考的过程中，往往不会产生精确的数值估计，而常做的事情是分类。

比如给你一块馒头，你会说这么大的我能吃饱，这么大的我吃不饱，我们更倾向于把馒头分为“吃饱”和“吃不饱”这两类：

而不会在大脑中构建出一条精确的函数曲线：

对于一个事物，简单的贴标签比仔细的计算更符合我们的生物本能：

也就是说：

同样对于小蓝，也是如此，假如小蓝抗毒能力为0.8：

那么怎么表示这样的关系呢？机制如你，想到分段函数：

远的不说，这个大括号看着就很头疼，看着就是个不好处理的家伙。

我们接下来，看一种更为优雅的Logistic函数：

不过我们一般会采用标准的Logistic函数，L=1，k=1，y0=0

可以看出来这个函数的计算结果始终在0到1之间，他的名字也暗示了这一点：很适合做逻辑判断，即分类。

知识补充：

此时这里函数关系为：

我们梳理一下这三个函数：

接下来，我们按照之前的方法，分别e对w、b求偏导，然后合成：

补充Logistic函数的求导：

---

理解复合函数求导中从外到内的这一过程，这有助于我们后续理解神经网络的精髓：

深度学习的开山鼻祖，他们在1986年引入的反向传播算法成为了现代神经网络的基石：

反向传播算法发明在1961年，不过在此之前人们对多层感知器、深度神经网络都持悲观的态度：

他们曾这样说：

正如一位大佬所说：“很多看似显而易见的想法，只有在事后，才变得显而易见。”

二、代码实现

豆豆数据集模拟：dataset.py

import numpy as np

def get_beans(counts):
	xs = np.random.rand(counts)
	xs = np.sort(xs)
	ys = np.zeros(counts)
	for i in range(counts):
		x = xs[i]
		yi = 0.7*x+(0.5-np.random.rand())/50+0.5
		if yi > 0.8:
			ys[i] = 1
	return xs,ys

豆豆毒性分布如下：

加入激活函数后的梯度随机下降算法：activation.py

import dataset
import matplotlib.pyplot as plt
import numpy as np

# 豆豆数量m
m = 100
xs, ys = dataset.get_beans(m)

# 配置图像
plt.title("Size-Toxicity Function", fontsize=12)
plt.xlabel("Bean Size")
plt.ylabel("Toxicity")
plt.scatter(xs, ys)

w = 0.1
b = 0.1
z = w * xs + b
a = 1 / (1 + np.exp(-z)) # 加入激活函数
plt.plot(xs, a)
plt.show()

# alpha为学习率
alpha = 0.01
# 训练5000次
for _ in range(5000):
    for i in range(100):
        x = xs[i]
        y = ys[i]
        # 三个函数
        z = w * x + b
        a = 1 / (1 + np.exp(-z))
        e = (y - a) ** 2
        # 对w和b求偏导
        deda = -2 * (y - a)
        dadz = a * (1 - a)
        dzdw = x
        dzdb = 1

        dedw = deda * dadz * dzdw
        dedb = deda * dadz * dzdb

        w = w - alpha * dedw
        b = b - alpha * dedb

    if _ % 100 == 0:
        # 绘制动态
        plt.clf()  ## 清空窗口
        plt.scatter(xs, ys)
        z = w * xs + b
        a = 1 / (1 + np.exp(-z))  # 加入激活函数
        plt.xlim(0, 1)
        plt.ylim(0, 1.2)
        plt.plot(xs, a)
        plt.pause(0.01)  # 暂停0.01秒

相关代码仓库链接，欢迎Star：传送门