多核异构核间通信-mailbox/RPMsg 介绍及实验
1. 多核异构核间通信
由于MP157是一款多核异构的芯片，其中既包含的高性能的A7核及实时性强的M4内核，那么这两种处理器在工作时，怎么互相协调配合呢？ 这就涉及到了核间通信的概念了。
IPCC (inter-processor communication controller)用于处理器间的数据交换的通知。 它提供了一种非阻塞的信号机制，并提供原子的方式进行信号发布和信息检索。 注意，核间通信的共享内存缓冲区是在MCU的SRAM中分配的，它不是IPCC外设的一部分。
1.1. 外设简述
IPCC外设提供了硬件支持，来管理两个处理器实例之间的处理器间通信。每个处理器拥有特定的寄存器区域和中断。 有点像硬件信号量的功能。
IPCC提供了六个双向通道信号。每个通道分为两个子通道，每个子通道提供从“发送方”处理器到“接收方”处理器的单向信号:
-
P1_TO_P2子通道（从P1发到P2）
-
P2_TO_P1子通道（从P2发到P1）
子通道中包括如下功能：
-
一个标志位，用于标识通道正在被占用和空闲的两种状态，这个标志被“发送方”处理器设置为被占用，并被“接收方”处理器清除。
-
两个相关的中断（所有通道都共享）:
-
RXO: RX通道被占用，连接到“接收器”处理器。
-
TXF: TX通道空闲，连接到“发送”处理器。
-
-
带多路复用的中断掩码功能。
IPCC支持以下信道的操作模式：
-
单工通信方式：
-
仅使用一个子信道。
-
单向消息：“发送者”处理器将通信数据发布到内存中后，它将通道状态标志设置为已占用。当消息被处理时，“接收者”处理器清除该标志。
-
-
半双工通讯方式：
-
仅使用一个子信道。
-
双向消息：“发送者”处理器将通信数据发布到内存中后，它将通道状态标志设置为已占用。当消息被处理并且响应在共享内存中可用时，“接收器”处理器将清除该标志。
-
-
全双工通讯方式：
-
子通道用于异步模式。
-
通过将子通道状态标志设置为占用，任何处理器都可以异步发布消息。当消息被处理时，“接收者”处理器清除该标志。可以将这种模式视为给定通道上两个单工模式的组合。
-
核间通信的模型如下：
1.2. 框架简述
IPCC作为核间通信的桥梁，它仅承担着通知的角色，负责消息的分发、中断的处理等。
实际上，IPCC外设这个角色只是多核异构核间通信中的一块，在我们使用多核异构核间通信时，往往不仅希望使用到核间的消息通知，还希望能在不同的核心中进行数据的交互（比如M4核进行实时的AD数据采集处理，完成后，M4核可通过异构的框架将数据呈递给A7核，A7核再进行更复杂的应用）。那么在这个需求的驱动下，就出现了一些框架相互配合使用的情况了，下面我们就给大家介绍这些内核框架。
1.2.1. RemoteProc framework
远程处理器框架（RPROC、RemoteProc）允许不同的平台/体系结构控制（打开电源，加载固件，关闭电源）远程处理器，同时抽象出硬件差异。此外，它还提供监视和调试远程协处理器的服务。
以MP157为例，其RemoteProc可分为两块，分别是A7核端、M4核端：
remoteproc：这是远程处理器框架的通用部分（在MP157中为A7核端）。
它的作用是：
-
将ELF固件加载到远程处理器内存中。
-
解析固件资源表以设置关联的资源（例如IPC，内存分割和跟踪）。
-
控制远程处理器的执行（启动，停止…）。
-
提供监视和调试远程固件的服务。
stm32_rproc：这是远程处理器平台驱动程序（在MP157中为M4核端）。
它的作用是：
-
将stm32特定的功能（回调）注册到RPROC框架。
-
处理与远程处理器关联的平台资源（例如寄存器，看门狗，复位，时钟和存储器）。
-
通过邮箱框架将通知（通知）转发到远程处理器。
ST官方参考资料：
Linux RPMsg framework overview - stm32mpu
1.2.2. RPMsg framework
此小节为大家简述有关Linux RPMsg框架的内容。RPMsg框架是一个基于virtio的消息总线，它允许本地处理器与系统上可用的远程处理器通信。
此框架在多核异构中承担的角色如下图：
Linux RPMsg框架是在virtio框架顶层上实现的消息传送框架，其用于主机和远程处理器进行通信。它基于virtio vring，可通过共享内存向远程CPU发送消息或从远程CPU接收消息。
这些vring是单向的，一个vring专用于发送到远程处理器的消息，另一个vring用于从远程处理器接收的消息。此外，共享缓冲区需要在两个处理器都可见的内存空间中创建。
当新消息在共享缓冲区中等待时，会使用到另一个框架 Linux Mailbox framework ，该框架将用于通知对应的Core。
依靠这些框架，RPMsg框架实现了基于不同通道的通信。通道可被文本名称标识，并有一个本地(“源”)的RPMsg地址和一个远程(“目的”)的RPMsg地址。
在远程处理器端（MP157则为M4核），也必须使用RPMSG框架。RPMSG框架的实现存在几种解决方案，ST建议使用OpenAMP方案，并在SDK中给出了示例。
Github OpenAMP框架 .
简单来说，MP157的A7核与M4核，通过一个标准的RPMsg框架来建立起联系，完成数据传递。
具体原理可以参考：
RPMsg-Messaging-Protocol .
RPMsg-Communication-Flow .
Linux内核源码目录给出的rpmsg client的示例代码位置如下：
samples/rpmsg/rpmsg_client_sample.c
rpmsg框架Linux内核驱动源码位于：
drivers/rpmsg
ST官方参考资料：
Linux remoteproc framework overview - stm32mpu
1.2.3. Mailbox framework
此小节为大家简述有关Linux邮箱框架的内容。邮箱框架涉及异构多核系统的处理器间通信。
此框架的结构如下图：
邮箱框架被用于内核间进行消息或信号的交换，常用于主机和协处理器间。邮箱由以下模块组成：
-
一个邮箱控制器(mailbox controller)，依赖于硬件平台实现，比如MP157的IPCC外设：
-
它负责配置和处理来自IPCC外围设备的IRQ。
-
它为邮箱客户端提供了通用API。
-
-
一个邮箱客户端(mailbox client)，负责发送或接收消息。
关于此框架的权威描述，在内核文档中的如下目录：
Documentation/mailbox.txt
一般而言mailbox controller和client都由芯片厂商来负责实现，因为这依赖于外设。 我们更常关注的，则是mailbox client的创建和使用。
ST实现的mailbox client代码位置如下：
drivers/remoteproc/stm32_rproc.c
在内核中还给出了一份mailbox client的示例驱动代码， 代码通过debugfs子系统，将mailbox的操作暴露给了用户空间， 用户可以直接通过debugfs来使用mailbox，进行消息在不同内核中的传递。
mailbox框架的设备树描述可参考内核源码文档：
Documentation/devicetree/bindings/mailbox/mailbox.txt
一个简单的mailbox client设备树节点，可以参考内核源码目录：
Documentation/devicetree/bindings/mailbox/sti-mailbox.txt
内核源码目录给出的mailbox client的示例代码位置如下：
drivers/mailbox/mailbox-test.c
ST官方参考资料：
Linux Mailbox framework overview - stm32mpu
1.2.4. 框架小结
前面介绍了三个框架，它们并不是独立工作的，而是相互协调的，彼此关联。 我们可以通过两张图来查看它们之间的关系。
以RemoteProc框架为主视角出发：
可以理清三个框架的关系，RemoteProc可以说是骨架，关联到了RPMsg框架、Mailbox框架。
1.3. 设备树插件描述
1.3.1. IPCC设备树节点
设备树节点位于arch/arm/boot/dts/stm32mp157c.dtsi
IPCC设备树节点
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
ipcc: mailbox@4c001000 {
compatible = "st,stm32mp1-ipcc";
#mbox-cells = <1>;
reg = <0x4c001000 0x400>;
st,proc-id = <0>;
interrupts-extended =
<&intc GIC_SPI 100 IRQ_TYPE_LEVEL_HIGH>,
<&intc GIC_SPI 101 IRQ_TYPE_LEVEL_HIGH>,
<&exti 61 1>;
interrupt-names = "rx", "tx", "wakeup";
clocks = <&rcc IPCC>;
wakeup-source;
power-domains = <&pd_core>;
status = "disabled";
};
|
使用节点位于arch/arm/boot/dts/stm32mp157a-basic.dts
使用IPCC设备树节点
1 2 3 |
&ipcc {
status = "okay";
};
|
设备树中的compatible = “st,stm32mp1-ipcc”属性，会匹配到 drivers/mailbox/stm32-ipcc.c 驱动程序，驱动程序中会创建一个mbox controller。
1.3.2. A7<–>M4 rproc设备树节点
设备树节点位于arch/arm/boot/dts/stm32mp157c.dtsi
rproc设备树节点
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
m4_rproc: m4@0 {
compatible = "st,stm32mp1-rproc";
#address-cells = <1>;
#size-cells = <1>;
ranges = <0x00000000 0x38000000 0x10000>,
<0x30000000 0x30000000 0x60000>,
<0x10000000 0x10000000 0x60000>;
resets = <&rcc MCU_R>;
reset-names = "mcu_rst";
st,syscfg-pdds = <&pwr 0x014 0x1>;
st,syscfg-holdboot = <&rcc 0x10C 0x1>;
st,syscfg-tz = <&rcc 0x000 0x1>;
st,syscfg-rsc-tbl = <&tamp 0x144 0xFFFFFFFF>;
status = "disabled";
m4_system_resources {
compatible = "rproc-srm-core";
status = "disabled";
};
};
|
使用节点位于arch/arm/boot/dts/stm32mp157a-basic.dts
使用rproc设备树节点
1 2 3 4 5 6 7 8 9 10 11 12 |
&m4_rproc {
memory-region = <&retram>, <&mcuram>, <&mcuram2>, <&vdev0vring0>,
<&vdev0vring1>, <&vdev0buffer>;
mboxes = <&ipcc 0>, <&ipcc 1>, <&ipcc 2>;
mbox-names = "vq0", "vq1", "shutdown";
interrupt-parent = <&exti>;
interrupts = <68 1>;
interrupt-names = "wdg";
wakeup-source;
recovery;
status = "okay";
};
|
设备树中的compatible = “st,stm32mp1-rproc”属性，会匹配到 drivers/remoteproc/stm32_rproc.c 驱动程序，驱动程序中会创建一个mbox client，并基于RemoteProc、RPMsg框架与mbox client进行关联。
1.4. 实验代码简述
这里我们就简单讲解一下M4核端的代码和一些概念，更详细的内容则需大家自己研究了。
rpmsg框架下有通信端点的概念，数据在两个端点间传输。端点间的数据传输是rpmsg框架下数据传输最原始的形式， 我们可以在原始的数据传输形式上再做一层封装，抽象出一些特定类型的设备。
每个端点注册的底层实现，就是一个内核设备的注册（使用的是平台总线模型），故注册的端点设备， 可以利用到驱动的Probe功能（具体实现详见 drivers/rpmsg/rpmsg_core.c 300行后内容）。
在M4端，通过调用openamp库中的 OPENAMP_create_endpoint 函数，并在调用时指定参数name（即为设备名称）， 即可在内核中注册一个对应的rpmsg框架平台设备，该设备最终可以通过name（设备名称）来匹配到相应的A7端内核驱动：
所以Linux rpmsg框架下使用平台总线模型与端点通讯的方式结合，给一些需要有特殊操作的自定设备， 提供了支持的可能。比如异构间的通讯，可以封装成串口通讯模型。
在我们提供的M4内核固件的代码中，注册了两种Linux内核自带的rpmsg框架下， 原生支持的设备模型，这两种设备类型是rpmsg-tty-channel、rpmsg-client-sample：
-
rpmsg-tty-channel： tty终端设备，对应内核驱动源码
drivers/rpmsg/rpmsg_tty.c，此驱动模块默认被编译进内核。 -
rpmsg-client-sample： 框架原生的通讯方式测试设备（放在内核里作为演示该框架的Demo提供的），对应内核驱动源码
samples/rpmsg/rpmsg_client_sample.c，此驱动默认被编译成模块， 并放置在文件系统/lib/modules/4.19.94-stm-r1/kernel/samples/rpmsg/rpmsg_client_sample.ko中， 当设备与驱动发生匹配时，系统会自动insmod该驱动模块。 -
还有一种字符设备模型，rpmsg_chrdev，源码位于
drivers/rpmsg/rpmsg_char.c，我们的代码中未实验，可自行研究。
M4核的代码中，创建上述两个rpmsg设备的代码如下：
-
rpmsg-client：rpmsg-client设备的示例，使用的是rpmsg框架下原生的异构通讯方式，调用openamp的原生操作函数，比如OPENAMP_send、receive等即可通讯。 在注册设备时，传入的
RPMSG_SERVICE_NAME即为rpmsg-client-sample，故会在Linux系统中注册一个名为rpmsg-client-sample的设备， 并且会自动匹配对应名称的内核模块（前面有述）。 -
rpmsg-tty：rpmsg-tty的示例，则在原生的通讯方式上，注册成了tty设备的模型，并将rpmsg的通讯封装成了tty的通讯形式， 更符合串口通信的操作、方便使用，比如在M4核端，就有VIRT_UART_Transmit的串口发送函数， rpmsg-tty设备注册的设备文件，会映射到A7核端的Linux文件系统下的
/dev/ttyRPMSGx。
在M4核的代码中，还初始化了usart3作为M4内核的Log输出串口，我们可以通过串口模块接入开发板上的usart3，来查看M4内核输出的Log。 最终工程代码会被用于生成ELF固件，ELF固件即为程序，会运行在MP157的M4内核上。
综上，通过原生的rpmsg框架设备、 /dev/ttyRPMSGx 节点以及M4内核使用的usart3资源，我们就可以进行简单的实验了。 本实验的代码也比较简单，这里就讲解这么多。
1.5. 实验准备
由于多核异构的框架是与处理器的架构紧密联系在一起的，所以一般这些框架驱动会由芯片厂商为我们提供好。 野火MP157开发板默认开启了这些驱动支持，并且开启了对应的设备树，我们直接进行使用就可以了。
在前面我们提到了，M4内核要与A7内核通讯需要共用一个框架，那么M4内核的运行的程序里， 就需要有对应的框架代码，这个为大家提供的工程中已经包含。 最终我们将代码生成的ELF固件，通过A7内核的remoteproc子系统加载到M4内核上， 即可做好前期的准备工作。
生成ELF固件的工程代码位于 \linux_driver\framework_ipcc\STM32Cube_FW_MP1_V1.2.0\Projects\STM32MP157C-EV1\Applications\OpenAMP\OpenAMP_raw 目录下， 感兴趣可自行研究，工程可用MDK或CubeIDE打开（在工程目录中由对应文件夹）。
MP157-M4内核的使用可参考：
[野火]Cortex-M4内核开发实战指南-基于STM32MP157
重要
在M4核的代码中，还初始化了usart3，实验前请务必将usart3的设备树插件关闭。
1.6. 实验操作
M4核的固件我们已经成功编译并放在了/linux_driver/framework_ipcc目录下， 我们将M4核的固件 OpenAMP_raw_CM4.elf 上传至Linux文件系统的 /lib/firmware/ 目录。此目录存放着Linux系统中会使用到的各种固件。
执行如下命令指定M4内核加载的固件，默认在root用户下操作：
# 进入remoteproc子系统目录 cd /sys/class/remoteproc/remoteproc0 # 导入M4内核固件名称 echo OpenAMP_raw_CM4.elf > firmware
在同一目录下，执行如下命令可启动停止M4内核：
# 启动M4内核 echo start > state # 停止M4内核 echo stop > state
启动M4内核后信息如下：
M4内核加载固件并启动后，在串口终端中打印出了一些信息，我们通过串口模块接入usart3引脚， 再打开串口调试助手设置波特率为115200，可以看到M4固件初始化的usart3作为串口printf出来的信息， 为 [INFO ]M4 send to A7 : hello world! ， 并且A7端的驱动也打印出了 rpmsg_client_sample virtio0.rpmsg-client-sample.-1.0: incoming msg 1 (src: 0x0) 说明M4核及A7核驱动正常工作了。
此外，输入lsmod，我们还可以看到演示设备创建后，对应被动态加载的驱动模块， rpmsg_client_sample ：
下面，我们进行第二个设备测试，通过前面现象中的LOG，我们可以看到被枚举出的tty设备节点 /dev/ttyRPMSG0 节点， 我们就通过该节点测试tty设备的功能，输入如下命令：
echo "hello M4 core , i'm A7!" > /dev/ttyRPMSG0
实验现象如下所示：
上图为A7通过虚拟的tty终端设备，转发到M4内核的消息内容， 最终通过M4核固件的串口Log功能打印出来对应信息。
自此，所有实验结束。