1.numpy and torch
numpy中是array torch中是tensor
torch.from_numpy(numpy.array)
torch.numpy()获得numpy
np.sin() == torch.sin()
对于array对象,*和np.multiply函数代表的是数量积,如果希望使用矩阵的乘法规则,则应该调用np.dot和np.matmul函数。
对于matrix对象,*直接代表了原生的矩阵乘法,而如果特殊情况下需要使用数量积,则应该使用np.multiply函数。
np.matmul == torch.mm
array.dot()!=torch.dot()
2.Variable
torch.autograd中的Variable
tensor放到Variable中加入计算的图中,获得Variable中的tensor要用variable.data()
Pytorch的Variable相当于一个Wraper,如果你想将数据传送到Pytorch构建的图中,就需要先将数据用Variable进行包装,包装后的Variable有三个attribute:data,creater,grad,其中data就是我们被包裹起来的数据,creator是用来记录通过何种计算得到当前的variable,grad则是在进行反向传播的时候用来记录数据的梯度的。
3.activation
torch.nn.functional中有softplus
torch中有relu/tanh/sigmoid
4.regression
unsqueeze(input, dim)在指定的维度增加一维
5.classification
cat((x0, x1),0)把另一个矩阵放在下面按行,1为放在右边按列
torch.max()0为返回每一列中最大值的那个值,返回值有两个,一个是最大值一个是最大值的索引
使用crossentropy的话y的值必须是一维的不然会出现错误multi-target not supported at/
6.快速搭建神经网络
使用torch.nn.Sequential(放进去网络的各层即可)
7.save and load
保存整个网络的时候使用torch.save和torch.load
当只需要保存网络的参数的时候只需要torch.save(net.state_dict()) net.load_state_dict(torch.load())
plt画图的时候subplot多个小图之后在最后一个小图后面加上plt.show()
8.batch
首先需要将X, Y放入到Data.TensorDataset中去
然后需要创建batch下载器,即Data.DataLoader(dataset=, batch_size=, shuffle=True, num_workers=)
for (batch_x, batch_y) in loader就可以获取batch_x以及batch_y。
9.optimizer
如果loader中的num_workers不等于0,那么这个程序要在main函数下运行,不然会出现错误。因为原因:多进程需要在main函数中运行,解决方法1:加main函数,在main中调用 解决方法2:
num_workers改为0,单进程加载
10.CNN
使用torchvision.datasets.MNIST数据集获取train_data和test_data,获取的数据是tensor类型,以前DataLoader数据集是使用Data.TensorDataset(x, y)创建现在直接使用torchvision获取的数据集。
使用x.view()来改变tensor大小,实现flatten。
figure是指一个图,axes是指图上的一个画图区域,一个图上可以有多个画图区域。
使用TSNE降维度,使用plot_with_label画图画全连接层前面那层的神经元状态。
numpy中ndarray的属性很多都是不是函数,type(a)数组类型,a.dtype数组元素类型,a.size数组的尺寸数组元素综述,a.shape数组形状,a.ndim数组的维度。
11.RNN
使用LSTM数据需要变成batch_size*time_step*input_size
cnn中使用的是batch_size*height*length*width
numpy中包含的newaxis即np.newaxis可以给原数组增加一个维度
np.newaxis放的位置不同,产生的新数组也不同
12.nan
tensor中只要有一个是nan,那么计算结果肯定有nan,有时不是学习率其他的问题。