Hi3519AV100 sdk 介绍

0. 文档目录结构

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/ReleaseDoc/zh$ tree -L 4 . ├── 00.hardware # 硬件相关文档 ├── 01.software # 软件相关文档 │   ├── board │   │   ├── Hi3519AV100 SDK 安装及升级使用说明.pdf # sdk 安装,编译，烧录说明。本文后面的内容主要参考此文档。 │   │   ├── Hi3519AV100与Hi3559AV100 开发包差异说明.pdf │   │   ├── MPP │   │   │   ├── HDMI 开发参考.pdf │   │   │   ├── HiMPP V4.0 媒体处理软件 FAQ.pdf │   │   │   ├── HiMPP V4.0 媒体处理软件开发参考.pdf # camera 功能开发参考文档。进行 camera 应用开发时主要参考此文档。 │   │   ├── OSDRV │   │   │   ├── Hi3519AV100╱Hi3556AV100 U-boot 移植应用开发指南.pdf │   │   │   ├── Hi3519AV100╱Hi3556AV100 开发环境用户指南.pdf │   │   │   ├── UBI 文件系统使用指南.pdf │   │   │   ├── 外围设备驱动 操作指南.doc │   │   │   └── 裸烧及非裸烧升级 使用手册.pdf │   │   ├── PQ │   │   └── SVP │   ├── Hi3519AV100R001 Open Source Software Notice.doc │   ├── HiMPP SDK 二次开发网络安全注意事项.pdf │   ├── pc ├── 02.only for reference

1. sdk 目录结构

我们拿到的 sdk 有以下文件：

1 2 3 4 5 6 7 8 9 10 11 12

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519$ ll -rwxr-x--- 1 qiushao geoclue 1870000000 Apr 3 08:54 arm-himix200-linux.part1.rar* -rwxr-x--- 1 qiushao geoclue 1861766810 Apr 3 08:54 arm-himix200-linux.part2.rar* -rwxr-x--- 1 qiushao geoclue 1519247343 Apr 3 08:55 Hi3519AV100R001C02SPC020.rar* -rwxr-x--- 1 qiushao geoclue 12771415 Apr 3 08:56 HiDPU_PC_V2.0.0.0.tgz* -rwxr-x--- 1 qiushao geoclue 22645270 Apr 3 08:56 HiIVE_PC_V2.1.0.8_64bit_sec.tgz* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:55 HiSVP_PC_V1.2.2.0.part1.rar* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:55 HiSVP_PC_V1.2.2.0.part2.rar* -rwxr-x--- 1 qiushao geoclue 1710000000 Apr 3 08:54 HiSVP_PC_V1.2.2.0.part3.rar* -rwxr-x--- 1 qiushao geoclue 1681662082 Apr 3 08:56 HiSVP_PC_V1.2.2.0.part4.rar* -rwxr-x--- 1 qiushao geoclue 15852 Apr 3 08:55 linux-4.9.y.rar* qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519$

我们目前用到的只有前面三个文件。其中 arm-himix200-linux 是编译工具链。 Hi3519AV100R001C02SPC020 是 sdk 及一些工具。
Hi3519AV100R001C02SPC020.rar 解压后的目录结构如下：

1 2 3 4 5 6 7 8 9 10

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100R001C02SPC020$ tree . ├── 00.hardware # 硬件相关设计文档 ├── 01.software # 软件相关，包括 sdk 代码和烧录工具,调试工具等 │   ├── board │   │   └── Hi3519AV100_SDK_V2.0.2.0.tgz │   └── pc │   └── HiTool │   └── HiTool-BVT-5.2.7.zip └── 02.only for reference # 其他参考文档，包括 sensor 规则书，uboot 移植相关的硬件信息表等

其中 Hi3519AV100_SDK_V2.0.2.0.tgz 是最重要的 sdk 代码包。我们把它拿出来解压。目录结构如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ tree . ├── package │   ├── drv.tgz │   ├── mpp_smp_linux.tgz │   ├── osal.tgz │   └── osdrv.tgz ├── scripts │   └── common.sh ├── sdk.cleanup ├── sdk.unpack └── smp_image_glibc ├── rootfs_hi3519av100_128k.jffs2 ├── rootfs_hi3519av100_256k.jffs2 ├── rootfs_hi3519av100_2k_24bit.yaffs2 ├── rootfs_hi3519av100_2k_4bit.yaffs2 ├── rootfs_hi3519av100_32M.ext4 ├── rootfs_hi3519av100_64k.jffs2 ├── u-boot-hi3519av100.bin └── uImage_hi3519av100_smp

代码压缩文件都放在 package 目录。我们需要执行 sdk.unpack 脚本来解压代码：

1	qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ ./sdk.unpack

解压代码后目录结构如下:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK_V2.0.2.0$ tree -L 4 . ├── osdrv # bsp 相关代码, 主要包含 uboot, kernel, rootfs │   ├── components │   │   ├── ipcm │   │   └── pcie_mcc │   ├── Makefile │   ├── opensource │   │   ├── busybox # busybox 源码 │   │   ├── kernel # kernel 源码， │   │   └── uboot │   ├── pub # 编译出来的镜像放在这个目录 │ ├── rootfs_scripts │   └── tools # 编译镜像需要的一些工具 ├── package # 压缩的 sdk ├── scripts # sdk 解压相关脚本 ├── sdk.cleanup ├── sdk.unpack ├── smp │   ├── a53_linux │   │   ├── drv │   │   │   ├── extdrv ＃ 外设驱动 │   │   │   └── interdrv # 内部芯片驱动 │   │   ├── mpp # 媒体处理相关的驱动，库，头文件以及 sample等。应用层的开发主要就是使用这些库来进行开发了。 │   │   │   ├── cfg.mak │   │   │   ├── component │   │   │   ├── include　　＃　mpi 头文件 │   │   │   ├── init # 媒体模块驱动初始化 │   │   │   ├── ko # 预编译好的驱动文件及加载脚本 │   │   │   ├── lib # 预编译好的 mpi 静态库和动态库 │   │   │   ├── Makefile.linux.param │   │   │   ├── Makefile.param │   │   │   ├── obj # 预编译好的驱动 .o 文件 │   │   │   ├── sample # mpi 接口使用样例，供开发参考。 │   │   │   └── tools # 调试工具 │   │   └── osal ＃ 操作系统抽象层(Linux, Liteos) │   │   ├── include │   │   └── linux │   └── dsp_liteos └── smp_image_glibc # 预编译好的系统镜像: uboot, kernel, rootfs

2. 编译工具安装

2.1 依赖安装

先安装以下这些工具，不然编译会出现各种莫名其妙的错误：

1	sudo apt-get install gperf bison flex libuuid1 u-boot-tools zlib1g-dev build-essential ncurses-dev libacl1-dev liblzo2-dev uuid-dev zlib1g-dev liblzo2-dev uuid-dev pkg-config texinfo

2.2 编译工具链安装

把 arm-himix200-linux.rar 解压后，得到 arm-himix200-linux.tgz。再解压一次得到 arm-himix200-linux 目录，结构如下：

1 2 3 4 5 6 7 8 9

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tree . ├── arm-himix200-linux.install ├── arm-himix200-linux.tar.bz2 ├── gdb_build.sh ├── gdb_readme_cn.txt ├── gdb_readme_en.txt ├── readme.txt └── runtime_glibc.tgz

按文档的操作，是需要 sudo 执行 arm-himix200-linux.install 进行安装。其实只要把工具链解压，并设置一下 PATH 环境变量就行了：

1 2 3 4 5

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tar xvf arm-himix200-linux.tar.bz2 qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux$ tar xvf runtime_glibc.tgz -C arm-himix200-linux/ qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/arm-himix200-linux/arm-himix200-linux/bin$ cd qiushao@qiushao-pc:~$ echo 'PATH=/media/qiushao/source-code/Hi3519/arm-himix200-linux/arm-himix200-linux/bin:$PATH' >> ~/.bashrc qiushao@qiushao-pc:~$ source ~/.bashrc

3. 编译烧录 uboot, kernel, rootfs

编译方法主要参考 Hi3519AV100_SDK/osdrv/readme_cn.txt 说明文件。

3.1 下载 kernel

由于 GPL 协议的问题，海思并没有把 kernel 的代码一起发布。需要我们自己下载 kernel 源码：

1	qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519/Hi3519AV100_SDK/osdrv/opensource/kernel$ wget https://mirrors.edge.kernel.org/pub/linux/kernel/v4.x/linux-4.9.37.tar.gz

3.2 编译系统镜像

在 osdrv 目录下执行 make all 就行

1 2 3

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/osdrv$ make all ... ---------finish osdrv work

出现 finish osdrv work 提示，说明已经编译完成了。
编译生成的镜像放在 osdrv/pub/smp_image_glibc 目录下:

1 2 3

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/osdrv/pub/smp_image_glibc$ ls rootfs_hi3519av100_128k.jffs2 rootfs_hi3519av100_2k_24bit.yaffs2 rootfs_hi3519av100_32M.ext4 u-boot-hi3519av100.bin rootfs_hi3519av100_256k.jffs2 rootfs_hi3519av100_2k_4bit.yaffs2 rootfs_hi3519av100_64k.jffs2 uImage_hi3519av100_smp

3.3 烧录系统

SPI Nand Flash 的地址空间安排如下：

1 2 3

| 1M | 4M | 32M | |----------------------|---------------------|---------------------| | uboot | kernel | rootfs |

3.3.1 hitool 烧录

如果板子是空板的话，需要使用 hitool 进行烧录。请参考 HiBurn工具使用指南.pdf

3.3.2 tftp 烧录

如果板子上有 uboot 的话，且板子有网口的话，则可以使用 tftp 来烧录。因为 hitool 没有提供 linux 版本，所以我一般都是使用 tftp 来烧录了。

• 1. tftp 配置
     上一篇文章我们已经介绍过 tftp 服务环境的搭建了。先修改 tftp 的目录为编译生成 images 的目录：

     1 2 3 4 5 6

     # /etc/default/tftpd-hpa TFTP_USERNAME="tftp" TFTP_DIRECTORY="/media/qiushao/source-code/Hi3519AV100_SDK/osdrv/pub/smp_image_glibc" TFTP_ADDRESS=":69" TFTP_OPTIONS="-l -c -s"

     然后重启 tftp 服务。

     1	qiushao@qiushao-pc:/etc/default$ sudo service tftpd-hpa restart

• 1. pc 网络信息查看
     ubuntu 下查看 pc 的 ip, 网关等信息的方法

     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

     qiushao@qiushao-pc:~$ ifconfig wlp4s0: flags=4163 mtu 1500 inet 192.168.3.29 netmask 255.255.255.0 broadcast 192.168.3.255 inet6 fe80::f7d3:b73c:461a:af45 prefixlen 64 scopeid 0x20 inet6 240e:fe:3839:339:c717:1207:24ef:fd76 prefixlen 64 scopeid 0x0 inet6 240e:fe:3839:300:7c94:2acf:4818:8 prefixlen 128 scopeid 0x0 inet6 240e:fe:3839:339:1002:ba0c:2ed:5ffa prefixlen 64 scopeid 0x0 ether 40:74:e0:b3:f2:63 txqueuelen 1000 (Ethernet) RX packets 36413 bytes 33826854 (33.8 MB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 16292 bytes 2617305 (2.6 MB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 qiushao@qiushao-pc:~$ qiushao@qiushao-pc:~$ route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.3.1 0.0.0.0 UG 600 0 0 wlp4s0 169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 virbr0 172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0 192.168.3.0 0.0.0.0 255.255.255.0 U 600 0 0 wlp4s0 192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0 qiushao@qiushao-pc:~$

     根据以上信息得到 pc 的网络信息如下：
     ip: 192.168.3.29
     netmask: 255.255.255.0
     gateway: 192.168.3.1
     mac: 40:74:e0:b3:f2:63
• 1. 板子网络信息配置
     板子需要接入和 pc 同一个局域网。板子上电后, 敲任意键进入 u-boot。设置 serverip(即 tftp 服务器的 ip), ipaddr(板子 ip)和 ethaddr(板子的 MAC 地址)。

     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

     hisilicon # setenv serverip 192.168.3.29 hisilicon # setenv ipaddr 192.168.3.30 # 板子的 ip，参考 serverip, 修改最后一位即可。 hisilicon # setenv netmask 255.255.255.0 hisilicon # setenv gatewayip 192.168.3.1 hisilicon # setenv ethaddr 40:74:e0:b3:f2:64 # 参考 pc 的 mac, 修改最后一位即可。 hisilicon # saveenv Saving Environment to NAND... Erasing NAND... Erasing at 0xa0000 -- 100% complete. Writing to NAND... OK hisilicon # ping 192.168.3.29 # 确认网络设置正常。 ETH0: PHY(phyaddr=1, rgmii) link UP: DUPLEX=FULL : SPEED=1000M MAC: 54-E1-AD-0A-A1-F8 Using gmac0 device host 192.168.3.29 is alive hisilicon #

• 1. 烧录分区
     • 烧写 u-boot

       1 2 3

       mw.b 42000000 ff 80000 tftp 0x42000000 u-boot-hi3519av100.bin nand erase 0 80000;nand write 42000000 0 80000

     • 烧写内核

       1 2 3

       mw.b 42000000 ff 400000 tftp 42000000 uImage_hi3519av100_smp nand erase 100000 400000;nand write 42000000 100000 400000

     • 烧写根文件系统

       1 2 3

       mw.b 42000000 ff 2000000 tftp 42000000 rootfs_hi3519av100_2k_4bit.yaffs2 nand erase 500000 2000000;nand write.yaffs 42000000 500000 0xafeb00 (0xafeb00 为实际文件大小)

     • 设置启动参数

       1 2 3

       setenv bootargs 'mem=256M console=ttyAMA0,115200 clk_ignore_unused root=/dev/mtdblock2 rw rootfstype=yaffs2 mtdparts=hinand:1M(boot),4M(kernel),32M(rootfs)' setenv bootcmd 'nand read 0x42000000 100000 400000; bootm 0x42000000' saveenv

     • 重启系统

       1

       reset

4. 板子网络环境配置

经过上面的步骤，我们的系统是跑起来了，但只是把 kernel 启动了，根文件系统挂载了而已，什么业务都没有运行的。我们需要编写自己的应用在上面运行才可以。
在写代码之前我们还需要配置一下板子的网络环境，以便开发调试。在开发阶段,推荐使用 NFS 作为开发环境,可以省去重新制作和烧写根文件系统的工作。也不需要频繁用 u 盘 copy 文件。

4.1 pc端配置nfs服务

pc 端 nfs 服务的配置之前已经介绍过了，这里面就不再重复。我们把 nfs share 的目录改成 Hi3519AV100_SDK：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

qiushao@qiushao-pc:/etc$ cat exports # /etc/exports: the access control list for filesystems which may be exported # to NFS clients. See exports(5). # # Example for NFSv2 and NFSv3: # /srv/homes hostname1(rw,sync,no_subtree_check) hostname2(ro,sync,no_subtree_check) # # Example for NFSv4: # /srv/nfs4 gss/krb5i(rw,sync,fsid=0,crossmnt,no_subtree_check) # /srv/nfs4/homes gss/krb5i(rw,sync,no_subtree_check) # /media/qiushao/source-code/Hi3519AV100_SDK *(rw,sync,no_subtree_check,root_squash) qiushao@qiushao-pc:/etc$ qiushao@qiushao-pc:/etc$ sudo exportfs -a qiushao@qiushao-pc:/etc$ sudo service nfs-kernel-server restart

4.2 设置板子的 mac,ip 等信息

1 2 3 4 5 6 7 8 9 10 11 12

~ # ifconfig eth0 hw ether 40:74:e0:b3:f2:64 ~ # ifconfig eth0 192.168.3.30 netmask 255.255.255.0 IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready ~ # hi_gmac_v200 40e0000.ethernet eth0: Link is Up - 1Gbps/Full - flow control off IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready ~ # route add default gw 192.168.3.1 ~ # ping 192.168.3.29 PING 192.168.3.29 (192.168.3.29): 56 data bytes 64 bytes from 192.168.3.29: seq=0 ttl=64 time=43.142 ms 64 bytes from 192.168.3.29: seq=1 ttl=64 time=62.610 ms 64 bytes from 192.168.3.29: seq=2 ttl=64 time=76.662 ms

4.3 板子上挂载 nfs 文件系统

1 2 3 4 5

~ # mount -t nfs -o nolock -o tcp -o rsize=32768,wsize=32768 192.168.3.29:/media/qiushao/source-code/Hi3519AV100_SDK /mnt ~ # ls /mnt osdrv scripts sdk.unpack smp_image_glibc package sdk.cleanup smp ~ #

5. 编译运行 sample

5.1 编译 sample

海思 sdk 里面带了一些 sample:

1 2 3 4

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$ ls audio awb_online_calibration dis fisheye lsc_online_cali Makefile.param region smp_linux.mak svp traffic_capture vdec vgs avs common dpu hifb Makefile pciv scene_auto snap tde uvc_app venc vio qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$

我们先试着在上面跑个简单的 vio sample 看看。vio sample 的功能是从摄像头输出，然后输出到 hdmi。
编译的方法很简单，进入 sample/vio 目录，直接 make 就行。编译成功的话，会在 vio 目录生成一个 sample_vio_main 文件:

1 2 3 4 5 6 7

qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample$ cd vio qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ ls Makefile res sample_vio.h sample_vio_main.c smp qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ make ... qiushao@qiushao-pc:/media/qiushao/source-code/Hi3519AV100_SDK/smp/a53_linux/mpp/sample/vio$ ls Makefile res sample_vio.h sample_vio_main sample_vio_main.c sample_vio_main.o smp

5.2 加载设备驱动

现在我们又回到板子上进行操作。
在运行 sample 之前我们需要先加载 hisi 的驱动

1 2 3 4 5 6 7 8 9 10

/ # cd /mnt/smp/a53_linux/mpp/ko /mnt/smp/a53_linux/mpp/ko # ./load3519av100 -i -sensor0 imx334 mmz_start: 0x32000000, mmz_size: 1760M sys_config: loading out-of-tree module taints kernel. ==========sensr0: imx334========== ==========sensr1: imx334========== ==========sensr2: imx334========== ==========sensr3: imx334========== ==========sensr4: imx334========== Module himedia: init ok

5.3 运行 sample

驱动加载成功之后，就可以开始运行 sample 啦

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

/mnt/smp/a53_linux/mpp # cd sample/vio/ /mnt/smp/a53_linux/mpp/sample/vio # ./sample_vio_main Usage : ./sample_vio_main index: 0)VI(Online) - VPSS(Online) - VO. 1)VI(Offline)- VPSS(Offline) - VO. LDC+DIS+SPREAD. 2)VI(Offline)- VPSS(Online) - VO. Double pipe. 3)VI(Online)- VPSS(Offline) - VO. Double chn. 4)Resolute Ratio Switch. 5)GDC - VPSS LowDelay. 6)Double WDR Pipe. 7)FPN Calibrate & Correction. 8)WDR Switch. 9)90/180/270 Rotate. 10)Mipi Demux Yuv. 11)UserPic. intf: 0) vo HDMI output, default. 1) vo BT1120 output. /mnt/smp/a53_linux/mpp/sample/vio # ./sample_vio_main 0 [SAMPLE_COMM_VI_SetMipiAttr]-1408: ============= MipiDev 0, SetMipiAttr enWDRMode: 0 linear mode ===Imx334 8M30fps 12bit LINE Init OK!=== [SAMPLE_COMM_ISP_Thread]-187: ISP Dev 0 running ! [SAMPLE_COMM_VO_StartChn]-544: u32Width:1920, u32Height:1080, u32Square:1 ---------------press Enter key to exit!---------------

至此，系统就已经运行起来了， sample 也运行起来了。后面我们再来逐步学习 camera 系统相关的开发知识。