硬件平台:角蜂鸟 + 虚拟机Ubuntu 16.04 + ROS Kinetic
定位于嵌入式人工智能感知平台的触景无限科技(北京)有限公司,最近推出了一款名为角蜂鸟的AI视觉套件,官网售价699元,我有幸作为体验者,通过预交押金的方式,拿到一个套件体验体验。因为他们官方只要求提交试用的文章,对平台没有限制,因此索性就写到博客里来了。拿到手不免疑问到底是个什么东西?能干什么用呢?
拿到角蜂鸟,先来看看硬件结构,接口一端是Type C,另一端为接电脑的USB接口,亚克力基座下就是摄像头,处理器芯片和散热器的位置了,小巧简洁。
要想了解角蜂鸟,先来说一说它的那颗芯片,2016年9月英特尔宣布将收购计算机视觉创业公司Movidius,这家公司也是谷歌Project Tango 3D传感器技术背后的功臣,使得Project Tango拥有了实时处理3D图像的能力。大家都知道,AI计算的时候对硬件要求比较高,Movidius这家公司推出了神经网络计算芯片——Movidius 2450,据说能够加速计算,提高一些设备的计算力。相信有不少朋友知道那个蓝色的计算棒(Movidius Neural Compute Stick(简称NCS))。此外,比如大疆的无人机,Google的AI相机Clips,还有Google AIY的Vision Kit等等有都有Movidius芯片的身影。
角蜂鸟和NCS计算棒有什么区别呢,大家可以直观的看到,它们核心都是Movidius芯片,角蜂鸟多了一个定制的摄像头,并非树莓派的2M相机,分辨率常用的为640*360以及1920*1080。此外,NCS用的模型经过转换,角蜂鸟也可以使用,同时针对一些场景和使用案例,角蜂鸟也做了一些优化。角蜂鸟内部有8种定制神经网络模型,从Mnist手写字识别,人脸识别到物体分类,物体识别等。
由于说明书上只留下了一个网站,我们随后的信息都是基于官网介绍的,网页免不了更新,所以以网页为准。
https://hornedsungem.github.io/Docs/cn/installation/
根据官网提供的信息,观察自己的核心板的两侧预留有CSI引脚焊盘,拿到的是A0版本。我的电脑是Ubuntu 16.04因此安装对于的版本
git clone https://github.com/HornedSungem/SungemSDK.git hornedSungemSDK
cd ~/hornedSungemSDK/installer/Ubuntu
sudo ./install.sh tuna
查看下install.sh的内容
#!/bin/bash
set -e
#----------------------------------------
sudo apt-get update -y && sudo apt-get upgrade -y
sudo apt-get install -y $(cat "../deps/requirements_apt.txt")#----------------------------------------
if [[ `lsb_release -rs` == "14.04" ]] ; then
sudo -H pip3 install --upgrade pip
fiif [ "$1" = "tuna" ] ; then
echo "Using TUNA mirror"
TUNA="https://pypi.tuna.tsinghua.edu.cn/simple"
sudo -H python3 -m pip install -i $TUNA -r ../deps/requirements_linux.txt
sudo -H pip3 install -i $TUNA opencv-python opencv-contrib-python
else
sudo -H python3 -m pip install -r ../deps/requirements_linux.txt
sudo -H pip3 install opencv-python opencv-contrib-python
fi#----------------------------------------
sudo cp ../config/99-hornedsungem.rules /etc/udev/rules.d/
sudo chmod +x /etc/udev/rules.d/99-hornedsungem.rules
sudo udevadm control --reload
其中sudo apt-get upgrade -y这句系统升级的最好不要。
主要就是装python3的软件管理器pip3,装numpy和annoy依赖包,以及opencv-python,最后赋予rules规则,让电脑识别到角蜂鸟并获取访问权限等。
从下面的SDK的installer目录文件中,可以看到角蜂鸟细心的准备了各种安装环境的配置,Ubuntu、Mac、树莓派、TK1、CentOS等。这里我的操作主要是Ubuntu下。
1. 官方的SDK中python例程基于opencv 3,所以电脑上需要预装好opencv。这里是我参考的一个地方Ubuntu 16.04安装python版的OpenCV。不确定的同学可以先输入python3来看看能否打开python 3的环境,比如我这里python 3 是3.5.2,然后引入opencv,输入import cv2,因为我的电脑中安装了ROS,它自带了opencv,所以出现ImportError: /opt/ros/kinetic/lib/python2.7/dist-packages/cv2.so: undefined symbol: PyCObject_Type 的报错
然后安装opencv,这里是利用python的虚拟环境,然后安装opencv,做到有效隔离,避免环境安装混乱。
https://www.pyimagesearch.com/2016/10/24/ubuntu-16-04-how-to-install-opencv/
$ cd ~
$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python get-pip.py
$ sudo pip install virtualenv virtualenvwrapper
$ sudo rm -rf ~/get-pip.py ~/.cache/pip
$ gedit ~/.bashrc
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/bin/virtualenvwrapper.sh
$ source ~/.bashrc
$ mkvirtualenv cv -p python3
$ workon cv
$ pip3 install opencv-python
$ gedit ~/.bashrc
export PYTHONPATH="$HOME/.virtualenvs/cv/lib/python3.5/site-packages:$PYTHONPATH"
这里跟链接里的主要区别是OpenCV我并没有从源码编译,我利用 pip3 install opencv-python 来安装OpenCV
配置好以后就可以试试看了,输入下面两句测试是否安装成功,顺便看看opencv的版本,我这里是OpenCV 3.4.2
import cv2
cv2.__version__
配置好SDK后,我们就可以接入角蜂鸟了,一头接电脑的USB,一头接角蜂鸟的Type C,一根线就搞定。
虚拟机上还需要额外手动点击,才能正常接入,图标上右键,点击连接
接入以后在命令行查看一下
https://hornedsungem.github.io/Docs/cn/quickstart/
cd ~/hornedSungemSDK/examples/python
~/hornedSungemSDK/examples/python$ sudo python3 Hello2018.py
出现Hello 2018就表示启用成功了。
参考资料:
1. ROS下import cv2报错
https://blog.csdn.net/fendoubasaonian/article/details/78536231
https://blog.csdn.net/krais_wk/article/details/80701261
2. 官方资料
角蜂鸟在线资源汇总
官网:http://www.hornedsungem.org/
公众号:微信搜索角蜂鸟,添加关注。
文档:
https://hornedsungem.github.io/Docs/cn/
https://hornedsungem.senscape.cn/Docs/cn/
专栏:
https://zhuanlan.zhihu.com/hornedsungem
Github:
https://github.com/HornedSungem
固件:
https://github.com/HornedSungem/SungemSDK/releases
Github提问:
https://github.com/HornedSungem/SungemSDK/issues
购买:
微信搜索角蜂鸟公众号,在公众号中购买。
技术交流:
欢迎加入角蜂鸟交流群,QQ群聊号码:782248879
角蜂鸟树莓派镜像下载地址:
树莓派上配置角蜂鸟环境,由于网络等原因,容易出现失败的情况,这里提供配置好的树莓派镜像,一个是树莓派Zero,一个是树莓派3B/3B+:
百度云地址链接:
https://pan.baidu.com/s/1rj1xBfA55xwVsOV9zN6Ifw密码: k1x6
Dropbox地址链接:
https://www.dropbox.com/sh/gnnjq7x5s24qlsq/AAD-Vcr3z8XlYRts8ndf9E9Ma?dl=0
镜像烧写完成后,不需要运行
install.sh脚本安装环境,直接可以运行示例程序了。