VR体感机械臂

一、项目来源

项目灵感来源于今年在北京召开的人形机器人产业大会中松灵机器人公司展示的一款体感控制的机械臂，最初设计要达到的效果是使搭载imu的体感控制器对六轴机械臂进行操作，在VR头显中有和机械臂一样的虚拟模型复刻实际机械臂的动作来达到数字孪生的效果。由于本人不善于硬件设计和资金问题，所以目前使用的是PICO的vr手柄和3D打印的三轴机械臂进行一个替代。目前实现的功能为通过PICO的VR手柄可以实现对机械臂的运动控制，并且带上VR头显可以清楚观察到虚拟机械臂的运动。目前已经采购到一款六轴机械臂，后续会在六轴机械臂末端加入执行器用VR手柄控制六轴机械臂实现夹取等动作。

二、项目构成

本项目目前为止已经实现对3D打印三轴机械臂的运动控制和数字孪生复现以及对六轴机械臂进行运动控制。硬件部分包括PICO手柄以及头显，PCB控制板主控esp32，三维模型，3D打印实物，六轴机械臂。软件部分包括unity端的程序使用C#开发和esp32的程序。本项目硬件pcb 软件代码 3d打印模型和bom表全部开源。

三、硬件部分

本次项目硬件部分pcb由立创eda专业版绘制，绘图使用solidoworks

3D打印三轴机械臂主控芯片采用esp32，机械臂三轴采用舵机MG996R，机械臂夹爪部分采用MG90S。舵机和控制板之间采用串口通讯。买来的六轴机械臂主控采用Stm32F407，PC与机械臂之间通讯采用UDP。

MG996S

MG90S

3D打印三轴机械臂

六轴机械臂（型号：GLUON-6L3）

六轴机械臂资料链接：MINTASCA Wiki

三轴机械臂部分为开源海豚机械臂，模型以及安装方法链接：海豚机械臂资料 |文件下载|BOM表|安装教程|工具表 By阿奇设计分享 - 飞书云文档 (feishu.cn)

四、软件实现。

本项目的软件思路为用户手持PICO的VR手柄，unity调用pico的sdk获取手柄的姿态信息，以获取的姿态信息作为目标姿态经机械臂逆运动学解算为各轴舵机运动的角度，通过串口通讯发送到esp32中，esp32端负责串口传来的数据进行解析然后向各个轴的舵机发送控制指令。同时在unity中建立的虚拟模型复刻真实机械臂的动作。

esp32代码开发平台：Arduino 其余代码开发平台Unity

软件流程

舵机控制用最简单的pwm，给多少角度舵机转多少角度，开始初始化舵机参数和位置，在主循环中不断监听串口发来的数据，收到数据后进入判断，不同的指令对应不同的动作

unity端主要负责调用PICO手柄的姿态位移等数据，将这些数据处理后作为目标姿态进行机械臂逆运动学解算，得到机械臂各个轴运动的角度，通过串口通讯发送给esp32。

unity端使用的picoSDK为PICO Unity Integration SDK下载链接：Download | PICO Developer (picoxr.com)，使用的串流调试软件为pico preview tool下载链接：SDK - Pico Developer Platform

unity搭建pico环境教程：【unity】Pico VR 开发笔记(基础篇)_unity pico-CSDN博客。

舵机实际运动角度转换模型角度

六轴机械臂控制：

对六轴机械臂控制中，通过unity读取Pico的VR手柄当前的空间xyz坐标和姿态角rall pitch yaw，将手柄的位置和姿态信息在程序中预处理后经过机械臂运动学逆解解算出机械臂六个关节需要运动的角度，将每个关节的角度解算成电机需要转动的位置量。最后通过udp通讯发送给机械臂来控制机械臂末端运动到手柄的位置和姿态。

机械臂逆解算法（详细见附件）

五、演示视频
见附件，包括VR手柄控制三轴和六轴机械臂运动，虚拟机械臂模型运动。

六、材料清单

excel文件为bom清单，robot压缩包为arduino程序，unity程序太大无法上传附件上传到网盘中：链接：https://pan.baidu.com/s/1KVCvdWZ5VpqTH4Q3Ff790Q 
提取码：6666

2024年6月17日更新：增加了机械臂正逆解程序 压缩包里名字为正逆解验证的程序为自制的一个上位机软件，通过输入正逆解来互相验证。名字为逆解.cs的文件为unity中控制六轴机械臂运动的程序

链接：https://pan.baidu.com/s/1IZSPyJcEmluvuYYbcTd-bQ 
提取码：6666

七、后续计划

后续会为六轴机械臂搭配上末端执行器，优化目前的体感控制效果，使控制更加直观。尝试放弃vr手柄用自制的体感控制器来进行控制。