Caffe2的相关概念
接下来你可以学到更多Caffe2中主要的概念,这些概念对理解和开发Caffe2相当重要。
Blobs and Workspace,Tensors
Caffe2中,数据是用blobs储存的。Blob只是内存中的一个数据块。大多数Blobs包含一个张量(tensor),可以理解为多维矩阵,在Python中,他们被转换为numpy 矩阵。
Workspace
保存着所有的Blobs
。下面的例子展示了如何向Workspace
中传递Blobs
和取出他们。Workspace
在你开始使用他们时,才进行初始化。
# Create random tensor of three dimensions
x = np.random.rand(4, 3, 2)
print(x)
print(x.shape)
workspace.FeedBlob("my_x", x)
x2 = workspace.FetchBlob("my_x")
print(x2)
Nets and Operators
Caffe2中最基本的对象是net
,net
可以说是一系列Operators
的集合,每个Operator
根据输入的blob
输出一个或者多个blob
。
下面我们将会创建一个超级简单的模型。他拥有如下部件:
- 一个全连接层
- 一个
Sigmoid
激活函数和一个Softmax
函数 - 一个交叉损失
直接构建网络是很厌烦的,所以最好使用Python接口的模型助手来构建网络。我们只需简单的调用CNNModelHelper
,他就会帮我们创建两个想联系的网络。 - 一个用于初始化参数(
ref.init_net
) - 一个用于实际训练(
ref.init_net
)
# Create the input data
data = np.random.rand(16, 100).astype(np.float32)
# Create labels for the data as integers [0, 9].
label = (np.random.rand(16) * 10).astype(np.int32)
workspace.FeedBlob("data", data)
workspace.FeedBlob("label", label)
# Create model using a model helper
m = cnn.CNNModelHelper(name="my first net")
fc_1 = m.FC("data", "fc1", dim_in=100, dim_out=10)
pred = m.Sigmoid(fc_1, "pred")
[softmax, loss] = m.SoftmaxWithLoss([pred, "label"], ["softmax", "loss"])
上面的代码中,我们首先在内存中创建了输入数据和标签,实际使用中,往往从database
等载体中读入数据。可以看到输入数据和标签的第一维度是16
,这是因为输入的最小batch
最小是16
。Caffe2中很多Operator
都能直接通过CNNModelHelper
来进行,并且能够一次处理一个batch
。CNNModelHelper’s Operator List中有更详细的解析。
第二,我们通过一些操作创建了一个模型。比如FC
,Sigmoid
,SoftmaxWithLoss
。注意:这个时候,这些操作并没有真正执行,他们仅仅是对模型进行了定义。
模型助手创建了两个网络:m.param_init_net
,这个网络将仅仅被执行一次。他将会初始化参数blob
,例如全连接层的权重。真正的训练是通过执行m.net
来是现实的。这是自动发生的。
网络的定义保存在一个protobuf
结构体中。你可以很容易的通过调用net.proto
来查看它。
print(str(m.net.Proto()))
输出如下:
name: "my first net"
op {
input: "data"
input: "fc1_w"
input: "fc1_b"
output: "fc1"
name: ""
type: "FC"
}
op {
input: "fc1"
output: "pred"
name: ""
type: "Sigmoid"
}
op {
input: "pred"
input: "label"
output: "softmax"
output: "loss"
name: ""
type: "SoftmaxWithLoss"
}
external_input: "data"
external_input: "fc1_w"
external_input: "fc1_b"
external_input: "label"
同时,你也可以查看参数初始化网络:
print(str(m.param_init_net.Proto()))
这就是Caffe2的API:使用Python接口方便快速的构建网络并训练你的模型,Python接口将这些网络通过序列化的protobuf
传递给C++接口,然后C++接口全力的执行。
Executing
现在我们可以开始训练我们的模型。
首先,我们先跑一次参数初始化网络。
workspace.RunNetOnce(m.param_init_net)
这个操作将会把param_init_net
的protobuf
传递给C++代码进行执行。
然后我们真正的创建网络:
workspace.CreateNet(m.net)
一旦创建好网络,我们就可以高效的跑起来:
# Run 100 x 10 iterations 跑100*10次迭代
for j in range(0, 100):
data = np.random.rand(16, 100).astype(np.float32)
label = (np.random.rand(16) * 10).astype(np.int32)
workspace.FeedBlob("data", data)
workspace.FeedBlob("label", label)
workspace.RunNet(m.name, 10) # run for 10 times 跑十次
这里要注意的是我们怎样在RunNet()
函数中使用网络的名字。并且在这里,由于网络已经在workspace
中创建,所以我们不需要再传递网络的定义。执行完后,你可以查看存在输出blob
中的结果。
print(workspace.FetchBlob("softmax"))
print(workspace.FetchBlob("loss"))
Backward pass
上面的网络中,仅仅包含了网络的前向传播,因此它是学习不到任何东西的。后向传播对每一个前向传播进行gradient operator
。如果你想自己尝试这样的操作,那么你可以进行以下操作并检查结果。
在RunNetOnce()
前,插入下面操作:
m.AddGradientOperators([loss])
然后测试protobuf
的输出:
print(str(m.net.Proto()))
以上就是大体的使用教程
译者注:
训练过程可以总结为以下步骤:
# Create model using a model helper
m = cnn.CNNModelHelper(name="my first net")
fc_1 = m.FC("data", "fc1", dim_in=100, dim_out=10)
pred = m.Sigmoid(fc_1, "pred")
[softmax, loss] = m.SoftmaxWithLoss([pred, "label"], ["softmax", "loss"])
m.AddGradientOperators([loss]) #注意这一行代码
workspace.RunNetOnce(m.param_init_net)
workspace.CreateNet(m.net)
# Run 100 x 10 iterations
for j in range(0, 100):
data = np.random.rand(16, 100).astype(np.float32)
label = (np.random.rand(16) * 10).astype(np.int32)
workspace.FeedBlob("data", data)
workspace.FeedBlob("label", label)
workspace.RunNet(m.name, 10) # run for 10 times
结语:
转载请注明出处:http://www.jianshu.com/c/cf07b31bb5f2