k210-arduino深度学习视觉机械臂抓取

一、arduino对机械臂的基础控制

       1、首先实现arduino对机械臂的控制(点动和自动),六个轴分别定义为xyzjkl。

点动:点动方式为按一下对应按键使对应轴正转或反转3度,此方式能够使机械臂快速移动到目标位置,到达目标位置可以在串口输入“o”返回当前各轴角度。

k210-arduino深度学习视觉机械臂抓取_第1张图片

k210-arduino深度学习视觉机械臂抓取_第2张图片

自动:在串口输入指定轴目标角度,arduino控制机械臂该轴自动运行到目标位置。

k210-arduino深度学习视觉机械臂抓取_第3张图片

此外,添加了减速程序,防止机械臂运动过快出现抖动;还有一键恢复abs点。

k210-arduino深度学习视觉机械臂抓取_第4张图片

k210-arduino深度学习视觉机械臂抓取_第5张图片

以上程序根据b站太极创客meArm4轴机械臂控制教程结合我自己的机械臂编写:【太极创客】零基础入门学用Arduino 第二部分 meArm机械臂 合辑_哔哩哔哩_bilibili

二、maixpy串口发送中心点部分程序说明

k210-arduino深度学习视觉机械臂抓取_第6张图片

k210-arduino深度学习视觉机械臂抓取_第7张图片

三、arduino接收k210通过串口发来的位置

建立通信协议,接收k210发来的字符串并提取出有用的中心X,Y坐标

k210-arduino深度学习视觉机械臂抓取_第8张图片

四、坐标系互换和运动学求逆解

由于需要识别的物体大小不同,k210上识别出来的坐标和框图大小不一定,坐标系互换比价复杂,所以还在研究。现在用的是比较简单的视觉识别物体发送中心点给机械臂然后求逆解控制运动的方法。

部分求逆解程序:

k210-arduino深度学习视觉机械臂抓取_第9张图片

五、把k210和机械臂连起来

k210识别物体并发送中心点位置给arduino

arduino接收位置并求逆解以及求正解验算

k210-arduino深度学习视觉机械臂抓取_第10张图片

效果展示:K210机械臂视觉抓取_哔哩哔哩_bilibili

你可能感兴趣的:(深度学习,深度学习,单片机,人工智能,计算机视觉)