基于香橙派和SU-03T 使用Linux实现语音控制刷抖音
硬件介绍
SU-03T之前在小车的时候使用过，详见：语音小车---6 + 最终整合_mjmmm的博客-CSDN博客
按照下图进行接线：
项目需求
通过语音指令来控制安卓手机刷抖音，可以实现视频切换和点赞等功能：
1. 开机播报“你好，我是你的刷抖音助手”
1. 当说出“你好抖音助手"可以唤醒模块，模块回复“抖音助手在”
2. 当超过10s没有指令或说出“退下”时，模块会进入休眠模式，并回复“有需要再叫我”
3. 当说出“下一个视频”或“这个不好看”时，模块回复“切换至下一个视频”，并划到下一个视频
4. 当说出“上一个视频”或“刚刚那个挺好看”时，模块回复“切换至上一个视频”，并划回上一个视频
5. 当说出“点个赞”或“这个视频不错”时，模块回复“以为您点赞”，并点赞当前视频
6. 当说出“不想看了”时，模块回复“以为您关闭屏幕”，并关闭手机屏幕
SU-03T的设置和烧写
设置和烧写的详细步骤也参考之前写的博文，此处只展示关键信息：
1. 创建产品：
2. 设置PIN脚为串口模式：
对于SU-03T，串口的RX和TX分别对应B6和B7
并设置相应的波特率：
3. 设置唤醒词：
4. 设置指令语句：
5. 设置控制详情：
参数的设置就是行为的名字 -> 大写字母 -> 16进制ASCII码，已空格分开
next -> 4E 45 58 54
pre -> 50 52 45
zan -> 5A 41 4E
guan -> 47 55 41 4E
6. 其他配置，如声音，开机播报，主动退出等，都是按喜好设置，这里不再详细展示：
7. 下载SDK并烧写进入SU-03T
详细步骤仍参考之前的博文：
8. 测试：
此时，可以打开串口助手来测试一下，分别说出对应的指令，看看SU-03T是否会向串口发送对应的字符：
我分别说出了四条指令，可见串口输出正确！
编写香橙派代码的框架
SU-03T设置完成后，就可以将SU-03T接到香橙派并进行Linux部分的代码编写：
由于在这个项目中，SU-03T只负责发送，香橙派只负责接收，所以除了电源外，只需要将SU-03T的TX（B7）接到香橙派的RX就可以，算上电源共三根线：
新创建一个“douyin”文件夹，将语音刷抖音项目的代码放在这里面：
然后将一些代码拷贝进来方便修改：
重新编译一下，并说出4条控制语句：
可见，SU-03T成功识别了指令，香橙派成功的接收了SU-03T通过串口打印的字符！
现在，就需要修改serial_douyin.c中接收的代码，添加数据处理的部分
先简单写一个数据处理的框架：
serial_douyin.c -> void *write_serial(void *arg)：
void *write_serial(void *arg)
{
char readbuf[32] = {'\0'};
while(1){
while(serialDataAvail (*((int *)arg))){
serialGetstring (*((int *)arg),readbuf) ;
if(strcmp(readbuf,"NEXT") == 0 ){
printf("收到下一条视频指令\n");
}else if(strcmp(readbuf,"PRE") == 0){
printf("收到上一条视频指令\n");
}else if(strcmp(readbuf,"ZAN") == 0){
printf("收到点赞指令\n");
}else if(strcmp(readbuf,"GUAN") == 0){
printf("收到关闭指令\n");
}else{
printf("未知指令\n");
}
memset(readbuf,'\0',32);
}
}
pthread_exit(NULL);
}
然后再次编译运行，说出四句指令：
可见，函数框架正确，接下来只需要将printf替换成真正的操作手机的代码就可以了
将手机接入香橙派
将我破旧的小米5C再次拿出哈哈哈，然后通过 TYPE-C -- USB 连接到香橙派：
然后进行如下操作：
1. 香橙派输入dmesg指令查看手机接入情况：
可见已经成功识别
2. 安装adb：
由于安卓手机的底层也是用Linux系统来操作的，所以可以通过香橙派来直接进入控制手机shell的界面，但需要先安装adb工具，adb是做安卓开发中常用的工具：
sudo apt-get install adb安装完之后，执行”adb devices“指令：
发现好像权限不太对，因此需要在安卓手机上设置权限
3. 设置手机权限
报错的本质原因是香橙派系统还不支持USB设备的热拔插和UDEV的机制
解决办法：在 /etc/udev/rules.d 文件夹下创建规则文件：
cd /etc/udev/rules.d/
sudo vim 51-android.rules然后在文件中添加内容：
SUBSYSTEM=="usb", ENV{DEVTYPE}=="usb_device", MODE="0666"
然后重新拔插手机！！
现在再次执行”adb devices“指令：
没有像刚刚那样报错了，但是仍然显示执行”adb devices“指令：限
解决办法：打开手机，允许调试：
此时，再再次执行”adb devices“指令：
没有任何报错了，此时”adb shell“指令：
连接成功！！
此时如果“ls”一下：
可以看到很多文件没有权限，因为没有root
小插曲：什么是udev？
- udev是一个设备管理工具，udev以守护进程的形式运行，通过侦听内核发出来的uevent来管理/dev目录下的设备文件。udev在用户空间运行，而不在内核空间 运行。它能够根据系统中的硬 件设备的状态动态更新设备文件，包括设备文件的创建，删除等。设备文件通常放在/dev目录下。使用udev后，在/dev目录下就只包含系统中真正存在的设备。
4. 使用shell指令来模拟手滑屏幕
现在可以成功的连入手机内部的系统，关键就在于对于滑动或点击屏幕的指令模拟了：
- adb shell input swipe <起始x坐标> <起始y坐标> <结束x坐标> <结束y坐标> <滑动持续时间ms>
- adb shell input keyevent <按键事件的常量>
adb shell input swipe 540 1300 540 500 500 //下滑
adb shell input swipe 540 500 540 1300 500 //上滑
adb shell "seq 3 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 0.01;done;" //点赞
adb shell input keyevent 26 //锁屏最终代码的编写
现在有了基本的代码模型，和控制手机的具体指令，接下来的工作就是在数据处理的部分，执行adb指令了，显然，使用system函数就可以：
serial_douyin.c：
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include "mjm_uart_tool.h"
void *read_serial(void *arg)
{
char *sendbuf;
sendbuf = (char *)malloc(32*sizeof(char));
while(1){
memset(sendbuf,'\0',32*sizeof(char));
fgets(sendbuf,sizeof(sendbuf),stdin);
serialSendstring (*((int *)arg), sendbuf) ;
}
pthread_exit(NULL);
}
void *write_serial(void *arg)
{
char readbuf[32] = {'\0'};
while(1){
while(serialDataAvail (*((int *)arg))){
serialGetstring (*((int *)arg),readbuf) ;
//printf("-> %s\n",readbuf);
if(strcmp(readbuf,"NEXT") == 0 ){
printf("收到下一条视频指令\n");
system("adb shell input swipe 540 1300 540 500 500");
}else if(strcmp(readbuf,"PRE") == 0){
printf("收到上一条视频指令\n");
system("adb shell input swipe 540 500 540 1300 500");
}else if(strcmp(readbuf,"ZAN") == 0){
printf("收到点赞指令\n");
system("adb shell \"seq 3 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 0.01;done;\"");
}else if(strcmp(readbuf,"GUAN") == 0){
printf("收到关闭指令\n");
system("adb shell input keyevent 26");
}else{
printf("未知指令\n");
}
memset(readbuf,'\0',32);
}
}
pthread_exit(NULL);
}
int main ()
{
int fd ;
int ret;
pthread_t read_thread;
pthread_t write_thread;
if ((fd = myserialOpen ("/dev/ttyS5", 115200)) < 0) //打开驱动文件，配置波特率
{
fprintf (stderr, "Unable to open serial device: %s\n", strerror (errno)) ;
return 1 ;
}
/* if (wiringPiSetup () == -1)
{
fprintf (stdout, "Unable to start wiringPi: %s\n", strerror (errno)) ;
return 1 ;
}*/
ret = pthread_create(&read_thread,NULL,read_serial,(void *)&fd);
if(ret != 0){
printf("read_serial create error\n");
return 1;
}
ret = pthread_create(&write_thread,NULL,write_serial,(void *)&fd);
if(ret != 0){
printf("write_serial create error\n");
return 1;
}
pthread_join(read_thread,NULL);
pthread_join(write_thread,NULL);
return 0 ;
} 实现效果：
和项目需求一致，可见，我的手并没有碰到手机屏幕，只是说出了对应的指令，手机就会有所反应：
并且在香橙派终端也可以看到指令历史：
