移植xenomai到树莓派4B
内核版本：4.19.122
Xenomai版本：3.1
IPIPE版本：ipipe-core-4.19.115-arm64-6.patch
步骤：
1，git clone https://github.com/raspberrypi/linux.git (最好加上--depth=1，否则时间会很长)
2，打ipipe patch
patch -p1 < ../ipipe-core-4.19.115-arm64-6.patch
会有几个小冲突，但比较容易解决，至少比之前在firefly上移植4.4版的ipipe要简单的多了。
3，xenomai patch
./xenomai/scripts/prepare-kernel.sh --arch=arm64 --linux=rpi-kernel
4，配置和编译内核：
1）make bcm2711_xeno_defconfig
2）关闭cpu idle， cpu freq，CMA，migrate，hugepage等
3）make -jX
问题：
编好内核之后，启动的时候会出现两个warning，我们逐一进行分析
1，MSI domain irqchip Brcm_MSI is not pipeline-safe!
[ 0.472771] MSI domain irqchip Brcm_MSI is not pipeline-safe! [ 0.472811] WARNING: CPU: 2 PID: 1 at kernel/irq/msi.c:273 msi_create_irq_domain+0x198/0x1a0 [ 0.478115] Modules linked in: [ 0.480780] CPU: 2 PID: 1 Comm: swapper/0 Not tainted 4.19.122-v8-xeno+ #5 [ 0.483509] Hardware name: Raspberry Pi 4 Model B Rev 1.2 (DT) [ 0.486246] I-pipe domain: Linux [ 0.488976] pstate: 60000005 (nZCv daif -PAN -UAO) [ 0.491664] pc : msi_create_irq_domain+0x198/0x1a0 [ 0.494387] lr : msi_create_irq_domain+0x198/0x1a0 [ 0.497055] sp : ffffff800802bac0 [ 0.499709] x29: ffffff800802bac0 x28: ffffffc07d72dc10
这个问题，我们首先找到名为Brcm_MSI的irq_chip，在bdrivers/pci/controller/pcie-brcmstb.c定义：
static struct irq_chip brcm_msi_irq_chip = {
.name = "Brcm_MSI",
.irq_mask = pci_msi_mask_irq,
.irq_unmask = pci_msi_unmask_irq,
+ .flags = IRQCHIP_PIPELINE_SAFE,
};
看了一下系统其他的irq_chip，都要声明IRQCHIP_PIPELINE_SAFE，所以这个告警就消失了。
这个告警不会影响内核，但我对待内核日志中的告警，通常还是尽量去解决掉的。
2，irq 38 handler xhci_msi_irq+0x0/0x30 enabled interrupts，检测到没有关中断，这个问题不只是一个warning，同时会影响系统的使用，插拔usb设备后，系统会死机
[ 0.673365] usb usb2: New USB device found, idVendor=1d6b, idProduct=0003, bcdDevice= 4.19 [ 0.675519] irq 38 handler xhci_msi_irq+0x0/0x30 enabled interrupts [ 0.678105] usb usb2: New USB device strings: Mfr=3, Product=2, SerialNumber=1 [ 0.680790] WARNING: CPU: 0 PID: 0 at kernel/irq/handle.c:153 __handle_irq_event_percpu+0x2b8/0x2d0 [ 0.683378] usb usb2: Product: xHCI Host Controller [ 0.686064] Modules linked in: [ 0.686082] CPU: 0 PID: 0 Comm: swapper/0 Not tainted 4.19.122-v8-xeno+ #6 [ 0.686089] Hardware name: Raspberry Pi 4 Model B Rev 1.2 (DT) [ 0.686096] I-pipe domain: Linux [ 0.686108] pstate: 80000005 (Nzcv daif -PAN -UAO) [ 0.688767] usb usb2: Manufacturer: Linux 4.19.122-v8-xeno+ xhci-hcd [ 0.691322] pc : __handle_irq_event_percpu+0x2b8/0x2d0 [ 0.694056] usb usb2: SerialNumber: 0000:01:00.0 [ 0.696702] lr : __handle_irq_event_percpu+0x2b8/0x2d0 [ 0.696709] sp : ffffff8008003da0 [ 0.696717] x29: ffffff8008003da0 x28: ffffffc07c6f2880 [ 0.696734] x27: ffffffc07c386000 x26: ffffff8008cd8000
IPIPE对中断体系做了比较大的修改，所以无论是中断处理还是开关中断都和标准linux有很大的区别，先看一下告警的产生：if WARN_ONCE(!irqs_disabled(),"irq %u handler %pF enabled interrupts\n", irq, action->handler))
判断irqs_disabled的逻辑会一直走到ipipe_test_root，并在这个函数中检测__ipipe_root_status的IPIPE_STALL_FLAG
那么内核何时设置__ipipe_root_status？
咨询了一下xenomai社区，社区回复说目前还没有人在rpi 4b上成功移植xenomai，所以竟然成了全球第一（肯定有人已经移植了，只是没有公布而已）
社区没有帮助，自己也没有头绪，胡乱改了几个brcm_msi_irq_chip中的irq_mask, irq_unmask之后，并没有成功。
再看一遍log：
[ 0.756470] __handle_irq_event_percpu+0x2b8/0x2d0 [ 0.758914] handle_irq_event_percpu+0x40/0x98 [ 0.761365] handle_irq_event+0x50/0x80 [ 0.763801] handle_simple_irq+0xb4/0x118 [ 0.766221] generic_handle_irq+0x34/0x50 [ 0.768640] brcm_pcie_msi_isr+0xac/0x1a8 [ 0.771078] __ipipe_dispatch_irq+0x180/0x1c8 [ 0.773494] __ipipe_grab_irq+0x6c/0xa8 [ 0.775910] gic_handle_irq+0x60/0xb0 [ 0.778301] handle_arch_irq_pipelined+0x28/0x78 [ 0.780675] el1_irq+0xc0/0x160
发现brcm_pcie_msi_isr处理过程中，还是标准的处理，并没有对ipipe做适配，也就是想社区讲的，还没有人做这件事，所以在ipipe-core-4.19.115-arm64-6.patch也没有相应的代码。
修改：
在ipipe打开的情况下，需要将generic_handle_irq替换为ipipe_handle_demuxed_irq(irq_linear_revmap(msi->inner_domain, hwirq));，修改如下：
/* Account for legacy interrupt offset */
hwirq = bit - msi->intr_legacy_offset;
-
+#ifdef CONFIG_IPIPE
+ ipipe_handle_demuxed_irq(irq_linear_revmap(msi->inner_domain, hwirq));
+#else
virq = irq_find_mapping(msi->inner_domain, hwirq);
if (virq) {
if (msi->used & (1 << hwirq))
@@ -955,6 +957,7 @@ static void brcm_pcie_msi_isr(struct irq_desc *desc)
/* Unknown MSI, just clear it */
dev_dbg(dev, "unexpected MSI\n");
}
+#endif
修改之后，在xhci_msi_irq中断处理过程中,__ipipe_root_status会被正确置位，插拔usb设备也恢复了正常。