小心操作
配备Ensenso 3D相机的机器人辅助系统可实现安全的核废料处理
核设施退役给操作员带来了巨大的挑战。全球待处理的核废料(无论是退役还是安全封隔)正在以惊人的速度在增长。处理核废料越来越需要自动化,但是出于安全原因考虑,核工业不愿采用完全自主的机器人控制方法,在危险环境中他们首选遥控工业机器人。然而,借助操纵杆和视频监控相机对未知物体的遥控抓取或切割之类的复杂任务很难掌控,有时甚至不可能完成。
为简化此过程,由英国伯明翰大学的极限机器人实验室领导的国家核机器人技术中心正在研究各种方法,以实现核废料自动处理。该中心研发的机器人辅助系统使“共享”控制技术能够通过 Ensenso 3D相机提供的触觉反馈和视觉信息执行复杂的操控任务。在系统出现故障的情况下,时刻待命的操作员可以取得对机器人自动操作的控制权。
应用
任何尝试过游乐场抓娃娃机的人都知道:手动控制抓臂并非易事。尝试抓住毛绒兔子失败也无大碍,但尝试处理放射性废料失败则会导致严重的后果。为了避免对人类和环境造成严重后果,机器人必须能够极其精确地检测场景中的放射性物体并采取精确的行动。理论上,操作员掌控着机器人,并且决定正确的抓取位置。
同时,他必须正确地评估逆向运动学(逆向转换),并正确地确定机器人手臂元素的关节角度,以便精确地控制机器人手臂并避免碰撞。英国研究人员开发的辅助系统极大地简化并加快了这项任务的执行速度:在标准工业机器人身上配备平行颚式抓爪和Ensenso N35 3D工业相机。
该系统自动扫描未知的废弃物体,并以点云的形式创建对应的3D模型。该系统非常精确,因为Ensenso 3D相机是按空间视觉原理( stereo vision )运作,后者基于人类视觉建模。两台相机从不同的位置查看物体。尽管两个相机的图像内容看起来相同,但它们查看物体的位置不一样。由于相机的距离和视角以及光学的焦距已知,因此Ensenso软件可以为每个图像像素确定物体的3D坐标。在这种情况下,使用相机的不同扫描位置捕捉场景,然后将所有视角下的场景结合以得到完整的3D表面图像。Ensenso的校正程序会将单个点云转换为全局坐标系统,从而提高整个虚拟图像的质量。输出的点云包含将正确的抓取或切割位置传达给机器人所需的所有空间物体信息。
借助软件,Enseno 3D相机可以接管操作员对深度信息的感知和评估任务,从而大大减轻了他们的认知负担。该辅助系统将待抓取物体的触觉特征与一种特殊的抓取算法相结合。“我们的系统使用场景云来自动生成几个稳定的抓取位置。
由于3D相机捕捉的点云分辨率高且密集,因此可以为场景中的每个物体生成非常精确的抓取位置。
基于此,我们的“假设排序算法”根据机器人的当前位置确定要拾取的下一个物体。”国家核机器人中心高级研究科学家 Naresh Marturi 博士解释说。
其原理类似于技巧游戏日本天皇(Mikado)的原理,在该游戏中,一次必须移走一根木棍,同时不能移动其他木棍。确定的路径引导使机器人能够沿着指定的路径平稳、均匀地移动到目标抓取位置。像导航系统一样,该系统支持操作员将机器人手臂引导到安全抓取位置,必要时还可以越过其他未知和危险的物体。该系统为此还计算出一条安全通道,帮助操作员无需通过触觉反馈离开通道。
该系统实时地将操作员的自然手部运动准确而可靠地与机器人动作同步。 因此,操作员始终保持手动控制权,并且能够在部件发生故障时接管工作。操作员只需关闭“力反馈模式”就可以关闭AI并回到人类智能。因此,根据人与机器之间的共享控制原则,系统始终处于受控状态-这一点在高危环境中至关重要。
相机
Naresh Marturi博士说:“对于我们所有的自主抓取计划、遥控和可视物体跟踪任务,我们采用的是带蓝色LED(465 nm)的Ensenso N35 3D工业相机,该相机和其他工具一样安装在机器人末端执行器上。”到目前为止,极限机器人实验室的大多数系统都配备了一个3D相机。“但是,为了加快3D模型构建过程,最近我们对系统进行了升级,除了机器人自带的相机之外,还额外安装了三台Ensenso 3D相机。”
Ensenso N系列相机专为此类任务而生。该系列相机专为在恶劣的环境条件下使用而设计。由于其小巧的设计,N系列工业相机同样适用于节省空间的固定或移动式机器人手臂,以对动态和静态物体进行3D检测。即使在光照不足的情况下,集成的投影仪也可以通过带有随机点图案的模图将高对比度的纹理投影到要捕捉图像的物体上,从而增亮那些表面纹理不清楚或者很淡的结构。N30款相机的铝制外壳可确保电子组件的最佳散热,因此即使在极端环境下也能保持稳定的光能输出。这也确保了3D数据一贯的高质量和稳健性。即使在光照不足的情况下,集成的投影仪也可以通过带有随机点图案的模图将高对比度的纹理投影到要捕捉图像的物体上,从而增亮那些表面纹理不清楚或者很淡的结构。
Ensenso N系列相机还可通过Ensenso SDK实现轻松的设置和操作。它提供了基于GPU的图像处理功能,可以更快地进行3D数据处理,并且可以输出在多相机操作模式下所有相机的单个3D点云(在这种情况下是必需的)以及多重视角下的实时3D点云合成。
对于辅助系统,研究人员已经用C ++开发出了专属的软件,以处理由相机捕捉的3D点云。“我们的软件使用 Ensenso SDK (多线程)及其校准子程序将纹理叠加在高分辨率的点云上,然后将这些纹理化的点云转换为世界坐标系统,”Naresh Marturi博士解释道。“Ensenso SDK能与我们的C ++软件轻松集成。它提供了多种简单的功能和方法来捕捉和处理点云以及相机图像。此外,借助CUDA,SDK子程序使我们能够登记多个高分辨率点云,以在全局框架中生成高质量的场景云。这对我们而言非常重要,特别是当我们要生成精确的抓取假设。”
该系统的主要优点:
- 操作员无需担心场景深度,如何以及从何处抓取物体。该系统可以找出背景中的所有物体,并帮助操作员准确地移动机器人到物体的最佳抓取处。
- 通过触觉反馈,即使机器人不在他们面前,操作员也可以感觉到他们手中控制的机器人。
- 通过结合触觉反馈和抓取计划,操作员可以非常轻松快捷地移动物体,仅有非常轻的认知负荷。
这样既可以节省时间和金钱,也能避免出错并提高安全性。
展望
伯明翰的极限机器人实验室的研究人员目前正在拓展该方法,以实现多手指操作而非只能靠平行的颚式夹持器。这意味着要提高抓取复杂物体时的灵活性和可靠性。不久的将来,操作员也将能够感受到遥控机器人在抓取物体时手指的受力。目前该团队正在研发完全自主的抓取方法,在完全自主抓取模式下,机器人手臂将由AI控制并由自动视觉系统引导。该团队还在研发可视化工具,以改善人机协作,通过“共享控制”系统遥控机器人。
就我们所有人的安全和健康而言,这是一种很有前景的方法,毕竟处理诸如核废料之类的危险物体是我们所有人都关心的问题。通过可靠地捕捉相关的物体信息,Ensenso 3D相机为解决核废料安全处理这一全球普遍存在的挑战做出了重要贡献。
Ensenso N35 - 3D视觉相机,快速精准
- 带 GigE 接口 - 功能丰富,灵活性高
- 小巧坚固的铝制外壳
- IP65/67
- 全局快门式CMOS传感器和图案投影仪,可选蓝色或红外LED
- 最大帧率(3D):10(2倍像素融合:30)和64个视差等级
- 最大帧率(离线处理):30 (2倍像素融合:70)和64个视差等级
- 设计工作距离最长3000毫米(N35相机)和可变图像场
- 输出单个3D点云,数据来自多相机模式下使用的所有相机
- 从多个视角实时构造 3D 点云
- 集成的FlexView技术可提高点云的精度,并且在复杂的表面上也能确保3D数据的稳健性
- 使用“投影纹理立体视觉”技术捕捉无纹理物体表面的图像
客户/大学
英国伯明翰大学的极限机器人实验室在研发用于核环境下机器人作业所需的组件方面处于领先地位。