理解机器学习中的术语

标量 向量 矩阵 张量

• 标量(scalar)，也可以叫做常量，例如 x = 5
• 向量(vector), 它是一个一维数组，例如 x = [1,3,4]
• 矩阵(matrix), 它是一个二维数组，例如

1 2 3
4 5 6
7 8 9

• 张量(tensor)是一个多维数组，张量涵盖向量，矩阵，3D空间(例如正方体)， 4维等等
  • 标量是张量的最小组成，类似于一个点
  • 向量是一个 1阶张量, 是一条线
  • 矩阵是一个 2阶张量, 是一个平面
  • 依次类推
• 故而张量是机器学习的基础数据存储单位

求导，梯度

• 高等数学中一个函数 $y=f(x)$
• 假设这个函数表示求出速度 ，$y(速度km/h)=\frac{1000(m)}{x(小时h)}$
• 那么这里的求导就是一个求出加速度 $p$
• $p=f^{{}^{\prime }}(x)=(\frac{1000}{x}{)}^{{}^{\prime }}=-\frac{1000}{x^2}$
• 这里的求导直接使用了 牛顿莱布尼茨公式
• 而代码的办法是逼近求导

代码实现

• 设$y=f(x)$
• 根据最基础的求导理解，逼近 $p={\lim }_{n->0}\frac{f(x+n)-f(x)}{n}$
• 那么求导代码如下

def func(x):
	return 1000 / x
# 求导数
def get_p(x, batch=5, init=0.1, step=0.1):
    for i in range(batch):
    	result = (func(x + init) - func(x)) / init
    	init = init * step
    	print(f"result == {result} batch = {i} init = {init}")
    return result
# 根据极限逼近公式计算
print(get_p(1)) # -999.99
# 根据莱布尼茨公式计算
print(-1000 / (1**2)) # -1000

pytorch实现

• 需要创建一个能够记录梯度的张量
• requires_grad 表示需要记录梯度(导数)
• 梯度(gradience), 可以被解释为多维空间中的导数(2D平面空间)

import torch
x = torch.tensor([1], dtype=torch.float, requires_grad=True)
y = 1000 / x
y.backward()
print(x.grad)