ros下Kinect的“跟屁虫”
ros下Kinect的“跟屁虫”
此文为很久之前工作的整理，以此作为记录，以免遗忘。纯属笔记。
实现的功能：用Kinect跟随人。
平台：Ubuntu14.04+Kinect1+全向移动平台
1. 安装Kinect驱动
可以参考网上的安装方法，已经有详细的步骤了，不再赘述。Kinect1已经安装好了，可以正常使用。
2. 安装OpenNI2+NITE
进行骨架提取的库。
3. 安装openni_tracker
4. 接听tf变换，发布机器人速度控制命令。
主要是用lookupTransform函数来接听user1的坐标系，从而获得坐标系的坐标，根据距离判断机器人发出何种速度命令。
存在的问题有：
（1） user1丢失时，机器人失去参照标准，会跑飞；
（2） 当周围的人多时，机器人将会混乱，跟踪效果往往会跟丢，所以背景的影响很大，一般只在一个人的情况下进行；
（3） 机器人速度影响，目前都是比较慢的，一般在0.3m/s左右，太快机器人反应不过来；
（4） openni_tracker本身的代码写的也一般，不具有太高的鲁棒性，有时经常崩溃。
这些情况，在网上看了很多人的问题后，大家都会遇到。然而好的解决方法没有。有人提议是，换成对骨架识别比较好的版本的openni及openni_tracker，然而这种方法我没有尝试。
针对问题（1），我所尝试做的改进包括两个方面。一是将原来的接听tf变换的代码重新写，对有异常的情况作出判断，使机器人停止，从而避免跑飞；二是改变openni2_tracker中tracker.cpp代码，加入异常判断条件和处理。
针对问题（2），初次的想法是加入颜色或者标签等，后来看别人的博客中有直接用人脸识别这样来做，但是机器人一般只能跟踪一个人，当有多个人时怎么能判断出来这个人，所以应该也会遇到同样的问题。至于多人跟踪，实在是没有好的idea。
个人经验，仍需继续思考，如有好的想法，欢迎给我发邮件[email protected]，多多交流。
附代码：Kinect_tf.cpp
/*************************************************************************************
*Name:kinect_tf.cpp
*Date:2017-02-28
*Author:Zhanghuijuan
*Function:follow people instantly.
*************************************************************************************/
//头文件
#include
#include
#include
#include //播放音频
#include
#include "std_msgs/String.h"
const char *str_distance，*str_angle;
int count_running = 0;
/*主函数*/
int main (int argc, char** argv)
{
ros::init (argc, argv, "kinect_tf ");//发布的topic
ros::NodeHandle nh;
sound_play::SoundClient sc;
geometry_msgs::Twist cmd;
ros::Publisher pub = nh.advertise ("/cmd_extvel", 10);//发布消息到 topic /cmd_extvel
tf::TransformListener listener;
ros::Rate rate(10.0);
while (node.ok()){
//接听消息
tf::StampedTransform tf, tf_right_hand, tf_right_shoulder; //tf变换的变量
try{
listener.lookupTransform("/openni_depth_frame", "/torso_1", ros::Time(0), tf); //接听话题/torso_1消息，我们查询listener为一个指定的转换，有四个主要参数：
//1，2我们想要从1转换到2，3转换的时间，4用transform来存储转换结果
double pose_x = tf.getOrigin().x();
double pose_y = tf.getOrigin().y();
double pose_theta = tf::getYaw(tf.getRotation());
//ROS_INFO("Pose of User: [x,y,theta]: [%f, %f, %f]...", x, y, theta);
listener.lookupTransform("/openni_depth_frame", "/right_hand_1", ros::Time(0), tf_right_hand);//接听right_hand_1消息
double tf_right_hand_z = tf_right_hand.getOrigin().z();
listener.lookupTransform("/openni_depth_frame", "/right_shoulder_1", ros::Time(0), tf_right_shoulder);//接听right_shoulder_1消息
double tf_right_shoulder_z = tf_right_shoulder.getOrigin().z();
}
catch (tf::TransformException& ex){
ROS_ERROR("Received an exception trying to get information: %s", ex.what());//抛出异常
ros::Duration(1.0).sleep();
continue;
}
/*step1:根据距离信息判断，从而发送控制速度指令，针对全向平台*/
cmd.linear.x = 0.0;//初始速度x方向为0
cmd.linear.y = 0.0;
cmd.angular.z = 0.0;
//X方向
if (pose_x < 1.6) //距离远近，行为定义
{
str_distance = "knee thai jean ler";//近了
cmd.linear.y = 0.25;
}
else if (pose_x > 2.0)
{
str_distance = "knee thai yuan ler";//远了
cmd.linear.y = -0.25;
}
else//距离正好
{
str_distance = "hen how";
cmd.linear.y = 0.0;
}
//Y方向
if (pose_y > 0.05)
{
str_angle = "zai Geo bian";//偏左
cmd.angular.z = 0.15;
}
else if (pose_y < -0.05)
{
str_angle = "zai you bian";//偏右
cmd.angular.z = -0.15;
}
else//正好
{
str_angle = "zai june jain";
cmd.angular.z = 0.0;
}
/*step2:手势指令*/
if (tf_right_hand_z >= tf_right_shoulder_z)//手势停止：当右手高于右肩膀时，机器人停止
{
cmd.linear.x = 0.0;
cmd.linear.y = 0.0;
cmd.angular.z = 0.0;
pub.publish(cmd);
ROS_INFO("cmd published: [v_x,v_y,w]:[%f, %f, %f]", cmd.linear.x, cmd.linear.y, cmd.angular.z);
//播放声音
const char *str1 = "I am stopping now!";
sc.repeat(str1);
sleep(4);
sc.stopSaying(str1);
loop.sleep();
continue;
}
//发布速度
pub.publish(cmd);
ROS_INFO("cmd published: [v_x,v_y,w]:[%f, %f, %f]", cmd.linear.x, cmd.linear.y, cmd.angular.z);
count_running++;
if (count_running > 30)
{
const char *str2 = "/home/cnimi/Downloads/wavetest/apert.wav";//调用音频文件
sc.startWave(str2);
//sleep(1);
//sc.stopWave(str2);
count_running = 0;
}
}
return 0;
}