2019-04-24 神经网络&激活函数&多维数组

Day 3

从感知机到复杂神经网络

简单理解，感知机可看作是激活函数为阶跃函数的“神经元”。而许多神经元进行串、并联可以构成复杂的神经网络，并随着层数的加深拥有近乎无限的表达能力。

激活函数

import numpy as np


def step_function(x: np.array):
    y: np.array = x > 0
    return y.astype(np.int)


def sigmoid(x):
    return 1 / (1 + np.exp(-x))


def relu(x):
    return np.maximum(0, x)


def identity_function(x):
    return x


def softmax(a: np.array):
    c = np.max(a)
    exp_a = np.exp(a - c)  # to avoid overflow
    sum_exp_a = np.sum(exp_a)
    y: np.array = exp_a / sum_exp_a

    return y

多维数组

import numpy as np

a = np.random.rand(2, 5)
print(a)

a = a.reshape(5, 2)
print(a)