01----嵌入式AI鸿蒙系统智能相机操作之优秀

目录

  1.1【实验目的】

1.2【实验原理】

1.3【实验步骤】

1.4 【附件】

---

  1.1【实验目的】

1. 利用OpenHarmony AI Camera 基于Hi3516开发板，使用开源OpenHarmony3.0-LTS开发的应用。通过获取摄像头数据，实现预览拍照以及录视频功能。并且通过后台AI服务识别唤醒词来进行语音控制拍照及录视频。

   

1.2【实验原理】

注意：用户对着相机说相应的唤醒词，相机收集到对应的音频，经过AI服务识别对应的文字，最后传到相机进行对应的操作。

1.3【实验步骤】

一、程序设计思路

硬件准备：

     第一个：预装windows系统的PC机。

     第二个：Hi3516DV300 IOT Camera开发板

     第三个：USB转串口线、网线（Windows工作台通过USB转串口线  ）

二、Linux编译服务器基础环境准备

   开发基础环境由windows工作台和Linux编译服务器组成。windows工作台可以通过samba服务或ssh方式访问Linux编译服务器。其中windows工作台用来烧录和代码编辑，Linux编译服务器用来编译OpenHarmony代码，为了简化步骤，Linux编译服务器推荐安装Ubuntu20.04

三、安装和配置Python

     第一个：打开Linux终端。

     第二个：输入如下命令，查看python版本号，需要使用python3.7以上版本，可以参考基础环境搭建。

          命令：python3 --version

四、安装并升级Python包管理工具（pip3）    

          命令：sudo apt-get  install  python3-setuptools python3-pip -y

                sudo pip3 install  --upgrade  pip

五、安装LLVM

      第一个：下载LLVN工具。

      第二个：解压LLVM安装包~/llvm路径下。

          命令：tar -zxvf llvm.tar -C ~/

      第三个：设置环境变量

          命令：vim ~/.bashrc

      第四个：将一下命令复制到.bashrc文件的最后一行，保存并退出。

          命令：export PATH=~/llvm/bin:$PATH

      第五个：使环境变量生效

          命令：source  ~/.bashrc

六、安装hb

       第一个：运行如下命令安装hb

          命令：python3 -m pip install --user ohos-build

       第二个：设置环境变量

          命令: vim ~/.bashrc

       第三个：将以下命令复制到.bashrc文件的最后一行，保存并退出

          命令: export PATH=~/.local/bin:$PATH

       第四个：执行如下命令更新环境变量

          命令：source ~/.bashrc

       第五个：执行”hb -h” ，有打印以下信息即表示安装成功

     

usage: hb OHOS build system positional arguments:   {build,set,env,clean}     build      Build source code     set        OHOS build settings     env        Show OHOS build  env     clean      Clean output optional arguments:   -h, --help   show this help message and exit

七、Hi3516开发环境准备

     第一个：将Linux shell改为bash，查看shell是否为bash，在终端运行如下命令

           命令：ls -l /bin/sh

     第二个：如果显示为/bin/sh -> bash则为正常，否则请按以下方式修改：

           命令：sudo rm -rf /bin/sh

           命令：sudo ln -s /bin/bash /bin/sh

     第三个：安装编译依赖基础软件（仅Ubuntu 20+需要）

命令：sudo apt-get install build-essential && sudo apt-get install gcc && sudo apt-get install g++ && sudo apt-get install make && sudo apt-get install zlib* && sudo apt-get install libffi-dev

八、安装文件打包工具

     第一个：打开Linux编译服务器终端。运行如下命令，安装dosfstools。

           命令： sudo apt-get install dosfstools    

     第二个：运行如下命令，安装mtool

           命令：sudo apt-get install mtools

     第三个：运行如下命令，安装mtd-utils

           命令：sudo apt-get install mtd-utils

九、安装hc-gen

     第一个：打开Linux编译服务器终端。

     第二个：下载hc-gen工具。

     第三个：解压hc-gen安装包到Linux服务器 ~/hc-gen路径下

            命令：tar -xvf hc-gen-0.65-linux.tar -C ~/

     第四个：设置环境变量

            命令：vim ~/.bashrc

     第五个：将一下命令复制到.bashrc文件的最后一行，保存并退出

            命令：export PATH=~/hc-gen:$PATH

     第六个：使环境变量生效

            命令：source ~/.bashrc

十、安装Java虚拟机环境

     第一个：打开Linux编译服务器终端

     第二个：安装java运行时环境

            命令：sudo apt-get install default-jre

     第三个：安装java sdk开发工具包

            命令：sudo apt-get install default-jdk

操作实现步骤：

PS：

java虚拟机是应用签名打包时才会用到的，SDK中默认的3个系统应用是需要签名打包，所以需要安装java虚拟机，没有安装的话，应用签名打包时会报如下错误：

第一个：源码下载与编译准备

环境搭建完后，就该准备代码了。

OpenHarmony源码下载方法多种多样，本文重点介绍linux + repo方式下载。

下载repo

curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > /usr/local/bin/repo chmod a+x /usr/local/bin/repo pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

第二个：下载OpenHarmony源码

#特别注意：请下载OpenHarmony 3.0 LTS 版本，后续会更新支持OpenHarmony其他版本

repo init -u [email protected]:openharmony/manifest.git -b OpenHarmony-3.0-LTS --no-repo-verify

repo sync -c

repo forall -c 'git lfs pull'

十一：下载智能相机代码

第一个：具体仓库地址

    通过git命令下载：命令：git clone [email protected]:xxxxxxx/knowledge_demo_smart_home.git

第二个：代码复制

      命令：mkdir vendor/team_x

  

第三个：将下载的智能中控屏代码的代码拷贝到新建的team_x下面：

命令：cp -rf ../knowledge_demo_smart_home/dev/team_x/smart_camera/ vendor/team_x/

 

 

至此为止，代码准备完成，可以进行编译了。

十二：鸿蒙代码编译

第一个：代码目录结构

     在编译代码前，可以先了解一下代码目录结构,我们的demo主要包含2个部分，一个是相机(demo_cameraApp)，负责相机相关功能，其次就是AI语音识别服务(demo_keyword_spotting),否则语音是采集以及识别。

     demo_cameraApp 代码目录结构:

 

demo_keyword_spotting 代码目录结构:

 

特别说明：AI语音识别服务是一个后台服务应用，因此我们需要通过设置让它自启动，配置文件如下

vendor/team_x/smart_camera/init_configs/init_liteos_a_3516dv300.cfg

第一个：具体修改步骤：

     1、在services服务模块最后添加以下代码

1. 在jobs模块中找到“name”:”post-init”，在“cmd”的最后加上“start kws_app”

                            

第二个：代码编译

     源码和环境准备完后，接下来就是编译，编译涉及的指令有2条，hb set和hb build -f 。

hb set -- 设置工程目录和选择对应的目标，通过键盘的上下键来选择。

 

hb build -f  -- 开始全量编译。（hb build 为增量编译）     

                

 

编译完后会生成对应整个系统固件(u-boot-hi3516dv300.bin,OHOS_Image.bin,rootfs_vfat.img, userfs_vfat.img)以及我们应用对应的so文件。

其中u-boot-hi3516dv300.bin在device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/：

 

OHOS_Image.bin,rootfs_vfat.img,以及userfs_vfat.img在out目录下：

 

对应的libsmart_camera.so在out/hispark_taurus/smart_camera/usr/lib/ 目录下：

 

AI服务可执行程序在out/hispark_taurus/smart_camera/bin/   目录下:

以下表格为所有生成的固件及对应的位置：

第三个：固件烧录

       第一个：烧录工具选择

       固件编译完后，是需要烧录到单板的。这里我们用的是HiTool工具烧录的。(HiTool工具下载地址:HiHope官网)

       第二个：烧录步骤

       打开HiTool工具，如下图：

 

      

烧写步骤按照图中标注即可。点击烧入后，烧录工具会提示重新上电，此时重启单板即可。

第四个：烧录结果

烧录成功后，会弹出如下提示，单板也会自行启动。

烧录失败的话需要根据失败提示查找一下原因。一般情况需要检查一下串口是否连接正常，网线是否正确插入，IP是否选择正常等。

查看IP的方法：当单板上电后并正确插入网线后，点击工具上刷新按钮，此时单板IP会自动添加到服务器IP列表中。

注意：IDE烧录：另外，OpenHarmony官网有提供一种通过IDE来烧录的，具体烧录步骤请参考文档：3516上快速运行Hello OHOS。

特别说明：如果是第一次烧录程序的话，单板在启动的时候需要设置bootargs，否则不能正常启动。单板第一次启动会停在hisilicon界面：

 

我们需要输入以下指令：

重要命令：

setenv bootcmd "mmc read 0x0 0x80000000 0x800 0x4800; go 0x80000000";

setenv bootargs "console=ttyAMA0,115200n8 root=emmc fstype=vfat rootaddr=10M rootsize=20M rw";

saveenv

reset

 

到此，烧录已经完成，设备也正常启动。

第五个：应用安装

    第一个：打包应用

   本demo是以安装包的形式安装到系统中启动运行的。因此，在安装应用前，需要将应用打包成安装包。

将编译好的libsmart_camera.so文件与工程目录下的res以及config.json文件通过压缩打包成zip格式(三个文件直接压缩，不能压缩文件夹)，并将后缀名改为hap(smart_camera.hap)。

 

  

    第二个：挂载NFS

    应用打包后，我们是通过NFS方式将单板挂载到本地，通过相关的指令来安装的，NFS挂载方法参照文章：Hi3516通过NFS挂载方式与Windows共享文件。

  

   第三个：安装

   通过nfs是单板连接到本地电脑后，我们可以通过bm安装指令进行安装。bm安装工具在系统编译完后会自动生成，路径在：

   out/hispark_taurus/smart_camera/dev_tools/bin/

  

  

   由于bm默认安装的应用为已经签名的应用，所以我们在安装前需要先将签名去掉。

    bm set -s disable        // 去签名

    bm install -p filename      // 安装应用filename， filename需要指定路径

 

安装完后桌面会显示对应应用的ICON，直接点击ICON即可以启动相机的应用。

第四个：使用指南

由于本demo涉及到摄像头的读写，故需要申请了相关的权限。在使用本demo前需要在setting中打开对应的权限。具体操作

第一步：点击setting--->应用--->smart_camera，然后将所有权限打开。

第二步：本demo带有相机的所有功能，包含预览，拍照，录像以及跳转到图库查看对应拍的图片和录制的视频。

第三步：在demo最主要的功能是语音控制相机，需要对准板子上的麦克风说唤醒词，目前支持2个唤醒词（Hi,xiaowen以及Nihao,wenwen）,分别对应控制相机的拍照以及录像功能。

1.4 【附件】

    注意：另外新建两个文件夹：一个存放（参考资料）  另一个存放（实验代码）