YOLO机械臂丨使用unity搭建仿真环境，YOLO算法识别，Moveit2控制

文章目录

  • 前言
  • 搭建开发环境
  • 在window中安装Unity
  • 创建Docker容器，并安装相关软件
  • 运行测试
  • 改进
    • 添加删除节点前的函数调用
  • 报错
    • ❌框选节点的时候报错
    • ❌如果无法控制机械臂，查看rviz2的终端，应该会有
    • ❌规划路径超出范围
  • 参考

前言

本项目介绍通过Unity3D仿真Panda机械臂，为研究机械臂的控制算法、控制效果和构建复杂仿真环境提供虚拟化平台。

在这里插入图片描述在这里插入图片描述
2025-5-182025-6-2

要点：

  • PandaArmUnity3D：Unity3D项目
  • ros2_docker_ws：ros2项目
  • matlab：包含了验证机械臂位置正逆运动学的算法分析

video:

  • 2025-6-2：YOLO机械臂丨使用unity搭建仿真环境，YOLO算法识别，Moveit2控制
  • 2025-5-18: 机械臂位置正逆运动学原理与代码
  • 2025-4-13: ros2-rviz2控制unity仿真的6关节机械臂，探索从仿真到实际应用的过程

搭建开发环境

  • Unity:2022
  • Ubuntu:24.04
  • Ros2:jazzy

在window中安装Unity

先安装Unityhuyb，然后再安装Unity

https://unity.cn/releases

创建Docker容器，并安装相关软件

❇️创建Docker容器

docker run -it -p 6080:80 -p 10000:10000 -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=host.docker.internal:0.0 -e PULSE_SERVER=host.docker.internal --name=DockerUnityRos2Arm docker.1ms.run/ubuntu:24.04  /bin/bash

❇️安装相关软件

# 按照鱼香ros一键安装ros2
apt-get update
apt install wget -y
wget http://fishros.com/install -O fishros && bash fishros# 安装远程显示服务程序
sudo apt-get install x11-xserver-utils
sudo apt install libxcb* -y
sudo apt-get install x11-apps -y# 安装moveit
# 重新打开一个终端
sudo apt install ros-${ROS_DISTRO}-moveit* -y# 安装ros2的控制功能包
sudo apt install ros-${ROS_DISTRO}-controller-manager -y
sudo apt install ros-${ROS_DISTRO}-joint-trajectory-controller -y
sudo apt install ros-${ROS_DISTRO}-joint-state-broadcaster -y
sudo apt install ros-${ROS_DISTRO}-diff-drive-controller -y# 安装运行`graph_executer_controller`相关的Python包
sudo apt update
sudo apt install python3-pip -y
sudo apt-get install portaudio19-dev -y
sudo apt install espeak -y# 安装音频
apt-get update && apt-get install -y alsa-utils pulseaudio
aplay -L  # 列出音频设备
# speaker-test -t wav  # 测试播放# 使用清华源下载
cd src/graph_executer_controller/
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages
pip install pyqtgraph ultralytics --break-system-packages# 调试工具
python3 -m pip install ipykernel -U --user --force-reinstall -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages# 配置Ubuntu支持中文
sudo apt-get install language-pack-zh-hans -y
apt install vim -yvim /etc/environment
# 添加内容
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh:en_US:en"vim /var/lib/locales/supported.d/local
# 添加内容
en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8
zh_CN.GBK GBK
zh_CN GB2312sudo locale-gen# 安装中文字体
sudo apt-get install fonts-droid-fallback ttf-wqy-zenhei ttf-wqy-microhei fonts-arphic-ukai fonts-arphic-uming -y# 安装支持playsound的库
apt-get install libgstrtspserver-1.0-dev gstreamer1.0-rtsp -y

运行测试

❇️在windows上运行PulseAudio服务

在这里插入图片描述

❇️启动Unity

❇️编译项目

colcon build

❇️启动tcp，用于ros2与unity连接

source install/setup.bash 
ros2 launch ros_tcp_endpoint endpoint.launch.py

❇️运行moveitpy_controller

# 打开新的终端
source install/setup.bash
ros2 launch control_server arm_control.launch.py

❇️运行graph_executer_controller

# 打开新的终端
source install/setup.bash
cd src/graph_executer_controller
python3 main.py

❇️运行panda_moveit_config的demo.launch.py

# 打开新的终端
source install/setup.bash
ros2 launch panda_moveit_config demo.launch.py

启动rviz2后，可以看到机械臂会有干涉，现手动调整到不干涉的位置，然后才使用moveitpy控制机械臂，否则无法控制机械臂。

改进

添加删除节点前的函数调用

问题描述：由于nodegraphqt没有删除节点的操作，这里为其添加。

在/usr/local/lib/python3.12/dist-packages/NodeGraphQt/base/graph.py的NodeGraph类的delete_node(self, node, push_undo=True)函数中添加以下内容：

在这里插入图片描述

if hasattr(node, '_del_node'):node._del_node()

报错

❌框选节点的时候报错

  File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEventself.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)
Error calling Python override of QGraphicsView::mouseMoveEvent(): Traceback (most recent call last):File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEventself.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)

✔️Pyside6和nodegraphqt版本不适配导致，更改viewer.py以下位置即可：

# "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py"# self.scene().setSelectionArea(
#     path, QtCore.Qt.IntersectsItemShape
# )
self.scene().setSelectionArea(path,selectionOperation=QtCore.Qt.ItemSelectionOperation.ReplaceSelection,mode=QtCore.Qt.ItemSelectionMode.IntersectsItemShape
)

❌如果无法控制机械臂，查看rviz2的终端，应该会有

[move_group-3] [ERROR] [1748613208.480924749] [move_group.moveit.moveit.ros.check_start_state_bounds]: Joint 'panda_joint2' from the starting state is outside bounds by: [1.76294 ] should be in the range [-1.7628 ], [1.7628 ].
[move_group-3] [ERROR] [1748613208.480986559] [move_group]: PlanningRequestAdapter 'CheckStartStateBounds' failed, because 'Start state out of bounds.'. Aborting planning pipeline.

✔️:重新启动rviz2即可

❌规划路径超出范围

[ERROR] [1742603349.012384448] [moveit_3836862178.moveit.ros.check_start_state_bounds]: Joint 'panda_finger_joint1' from the starting state is outside bounds by: [-6.61565e-14 ] should be in the range [0 ], [0.04 ].
[ERROR] [1742603349.012503158] [moveit_py]: PlanningRequestAdapter 'CheckStartStateBounds' failed, because 'Start state out of bounds.'. Aborting planning pipeline.
[ERROR] [1742603349.013678982] [moveit_py.pose_goal]: Planning failed

✔️修改joint_limits.yaml，限制关节的最大最小位置

在这里插入图片描述

参考

  • docker-ros2-unity-tcp-endpoint
  • Robotics-Nav2-SLAM-Example
  • unity坐赛车游戏，简单三分钟了解一下
  • How to Setup Unity and ROS2 in less than 5 minutes!
  • ros2-for-unity
  • moveit2_yolobb_ws
  • Unity-Robotics-Hub
  • JSON Output
  • DeepSeek提示库
  • Binary Installation on Ubuntu
  • Docs / Gazebo Harmonic
  • ros_gz branch jazzy
  • Binary Installation on Ubuntu
  • Docs / Gazebo Harmonic
  • ros_gz branch jazzy

关注👇👇，发送：DockerRos2UnityArm，方便获取仿真代码。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/news/907976.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker 插件生态：从网络插件到存储插件的扩展能力解析

Docker 插件生态：从网络插件到存储插件的扩展能力解析

Docker 容器技术以其轻量、快速、可移植的特性，迅速成为构建和部署现代应用的核心工具。然而，尽管 Docker Engine 自身功能强大，但在面对多样化的生产环境和复杂业务需求时，仅靠核心功能往往无法满足所有场景。 例如，跨主机的容器网络通信、异构存储系统的持久化数据管理…
阅读更多...
飞牛fnNAS使用群辉DSM系统

飞牛fnNAS使用群辉DSM系统

目录 一、Virtual DSM简介 二、在飞牛NAS中安装 1、激活Docker 2、建立路径 3、创建Compose项目 4、容器启动 （1）构建容器 （2）容器启动 5、查看日志 6、登录DSM地址 7、安装完成 8、安装套件示例 9、远程访问 10、测试 （1）PC浏览器创建笔记 （2）手机创建…
阅读更多...
关于FPGA软核的仿真（一）

关于FPGA软核的仿真（一）

MicroBlaze是Xilinx专为FPGA设计的软核处理器，其本质是通过FPGA的可编程逻辑资源（如查找表LUT、触发器Flip-Flop）动态构建的处理器架构，其本质为搭建处理器电路。MicroBlaze上运行嵌入式C代码程序，通过CoreConnect总线…
阅读更多...
户外摄像头监控如何兼顾安全实时监控

户外摄像头监控如何兼顾安全实时监控

一、技术手段提升隐私安全性 硬件与功能设计 采用支持隐私保护技术的设备，例如带电子开关的摄像头（可远程控制摄像头启闭）3，或搭载本地AI算法的设备，仅识别人形、车辆等目标，减少无关信息采集。 使用安全…
阅读更多...
【C#朗读文本DLL动态按钮控件组及按钮事件文本框拖放数据】2022-1-21

【C#朗读文本DLL动态按钮控件组及按钮事件文本框拖放数据】2022-1-21

缘由https://bbs.csdn.net/topics/604357098 DotNetSpeech.dll下载_DotNetSpeech.dll免费版下载 - 系统之家 dotnetspeech.dll 64下载-dotnetspeech.dll下载 v10.2 官方版-IT猫扑网 下载了一个DotNetSpeech.dll，放到 \bin\Debug里，添加引用，…
阅读更多...
＜5＞, Qt系统相关

＜5＞, Qt系统相关

目录 一、Qt 事件 1，事件的定义 2，事件的处理 3，鼠标事件 4，按键事件 5，定时器 6，事件分发器 7，事件过滤器 二、Qt 文件 1，输入输出类 2，文件读写类 3&#x…
阅读更多...
WordPress主题代码优化深度指南

WordPress主题代码优化深度指南

引言：为何主题优化至关重要 WordPress作为全球最流行的内容管理系统，其性能表现直接关系到用户体验和网站成功。主题代码优化不仅能够： 提升页面加载速度（Google研究表明，页面加载时间每增加1秒，跳出率增加…
阅读更多...
数据结构第6章 图（竟成）

数据结构第6章 图（竟成）

第 6 章 图 【考纲内容】 1.图的基本概念 2.图的存储及基本操作：(1) 邻接矩阵法；(2) 邻接表法；(3) 邻接多重表、十字链表 3.图的遍历：(1) 深度优先搜索；(2) 广度优先搜索 4.图的基本应用：(1) 最小 (代价) 生…
阅读更多...
【ROS2实体机械臂驱动】rokae xCoreSDK Python测试使用

【ROS2实体机械臂驱动】rokae xCoreSDK Python测试使用

【ROS2实体机械臂驱动】rokae xCoreSDK Python测试使用 文章目录 前言正文配置环境下载源码配置环境变量测试运行修改点说明实际运行情况 参考 前言 本文用来记录 xCoreSDK-Python的调用使用1。 正文 配置环境 配置开发环境，这里使用conda做python环境管理&…
阅读更多...
黑马Java面试笔记之MySQL篇（优化）

黑马Java面试笔记之MySQL篇（优化）

一. 慢查询 在MySQL中，如何定位慢查询？ 出现慢查询的情况有以下几种： 聚合查询多表查询表数据量过大查询深度分页查询 表象：页面加载过慢，接口压测响应时间过长（超过1s） 1.2 如何定位慢查询&…
阅读更多...
历史数据分析——广州港

历史数据分析——广州港

个股简介 公司简介： 华南地区最大的综合性主枢纽港。 本公司是由广州港集团、国投交通、广州发展作为发起人，共同出资以发起方式设立的股份有限公司。 经营分析： 一般经营项目：企业管理服务（涉及许可经营项目的除外）；港务船舶调度服务；船舶通信服务；企业自有资金…
阅读更多...
图解gpt之Transformer架构与设计原理

图解gpt之Transformer架构与设计原理

Transformer架构。它不仅仅是一个模型，更是一种范式，彻底改变了我们理解和处理自然语言的方式。 2017年，谷歌大脑团队发表了一篇划时代的论文，题目就叫《Attention is All You Need》。这标题本身就充满了力量，宣告了…
阅读更多...
HCIP：MPLS静态LSP的配置及抓包

HCIP：MPLS静态LSP的配置及抓包

目录 一、MPLS的简单的一些知识点 1.MPLS的概述： 2.MPLS工作原理： 3.MPLS的核心组件： 4. MPLS标签 5.MPLS标签的处理 6.MPLS转发的概述： 7.MPLS的静态LSP建立方式 二、MPLS的静态LSP的实验配置 1.配置接口的地址和配置OS…
阅读更多...
Azure DevOps 管道部署系列之一本地服务器

Azure DevOps 管道部署系列之一本地服务器

Azure DevOps 是一个帮助改进 SDLC（软件开发生命周期）的平台。 在本文中，我们将使用 Azure Pipelines 创建自动化部署。 Azure DevOps 团队将 Azure Pipelines 定义为“使用 CI/CD 构建、测试和部署，适用于任何语言、平台和云平台”。 在这里，我将解释如何在 Azure Dev…
阅读更多...
深入剖析网络协议：七层协议与四层协议详解

深入剖析网络协议：七层协议与四层协议详解

在计算机网络的世界中，数据的传输与交互离不开协议的规范。其中，七层协议和四层协议是网络通信架构的核心概念，它们如同网络世界的 “交通规则”，保障着数据准确、高效地在不同设备间流转。本文将深入解读七层协议与四层协议&…
阅读更多...
回头看，FPGA+RK3576方案的功耗性能优势

回头看，FPGA+RK3576方案的功耗性能优势

作者：Hello,Panda 各位朋友，大家好，熊猫君这次开个倒车，在这个广泛使用Xilinx（Altera）高端SoC的时代，分享一个“FPGAARM”实现的低功耗高性能传统方案。 图1 瑞芯微RK3576电路 当前&#xff0c…
阅读更多...
打造极致计算器：HTML+Tailwind+DaisyUI实战

打造极致计算器：HTML+Tailwind+DaisyUI实战

一、计算器总体描述 创建一个在线计算器来实现基础数学运算功能，通过单一页面集成数字按钮、运算符按钮和显示结果区域，界面采用简洁直观的布局设计，按钮排列合理且提供即时运算反馈，确保计算逻辑准确和良好的按键响应体验&#x…
阅读更多...
基于mediapipe深度学习的虚拟画板系统python源码

基于mediapipe深度学习的虚拟画板系统python源码

目录 1.前言 2.算法运行效果图预览 3.算法运行软件版本 4.部分核心程序 5.算法仿真参数 6.算法理论概述 7.参考文献 8.算法完整程序工程 1.前言 虚拟画板系统基于计算机视觉与深度学习技术，通过摄像头捕获用户手部动作，利用 MediaPipe框架实现手…
阅读更多...
开源的JT1078转GB28181服务器

开源的JT1078转GB28181服务器

JT1078转GB28181流程 项目地址： JT1078转GB28181的流媒体服务器: https://github.com/lkmio/lkm JT1078转GB28181的信令服务器: https://github.com/lkmio/gb-cms 1. 创建GB28181 UA 调用接口: http://localhost:9000/api/v1/jt/device/add 请求体如下&#xf…
阅读更多...
元器件基础学习笔记——双极结型晶体管 （BJT）

元器件基础学习笔记——双极结型晶体管 （BJT）

一、概述 1.1 基本结构 双极结型晶体管（Bipolar Junction Transistor）由发射极（Emitter）、基极（Base）和集电极（Collector）三个掺杂程度不同的半导体区域组成，分别对应有…
阅读更多...
最新文章

Copyright @ 2022~2023