一次到位
结合Ensenso N35 3D立体视觉相机来组装家具
相信大多数的人都经历过这种痛苦经验: 一套全新的家具需要组装。所有的组件零件都依照顺序归类排列，然后开始跟着组装说明书开始组装….但却花费了比预期还久的时间才能完成组装!
新加坡南洋理工大学的科学家开发了可以使用机器人将家具零组件组装的应用。机器人系统中包含了一台Ensenso N35 3D 立体相机 并且在两个手臂前端装设夹具来抓取部件。
应用程序
为了帮助机器人能够完成IKEA椅子的租装，来自„School of Mechanical and Aerospace Engineering“ 的团队使用了三的不同的资料库来编写演算法。
机器人本身的设计就是为了模拟人类组装物体模式: 人类眼睛的视觉用3D立体视觉相机来代替，手臂则使用六轴工业机器手臂来代替。每组手臂前端都装配了一个平行夹具用来抓取物件。压力传感器则安装在手腕的部分，用来决定每次抓取需要的力量，以及要用多少力量来将两个零件组装在一起。
在机器人开始组装程序前，会先透过相机拍摄放置在地面上的零件的3D立体影像，来建立一个零件分布地图。
Ensenso 3D立体视觉相机被选择来担任此项任务。相机使用”纹理投影技术”原理，来模拟人籁的视觉。用两台相机从不同的位置拍摄同一个场景的影像。虽然相机看到的是同一个场景，但由于相机的位置不同，看到的物体的视线视角也有差异。这时候透过使用特殊的演算法来比对两幅影像，搜索相应的点，并可视化视差图中所有的点位移。Ensenso 的软件可以决定每个单独图像的像素或对象点的相互3D立体图形的关係，在这个案例中是一套椅子的组件。
挑战
虽然在IKEA组装案例中没有使用到的N35相机可以提供更多的加强功能: 借助相机内建的FlexView 投影器技术，透过移动投影在物体表面的纹理来确认表面纹理的相对位置。将不同的纹理投射在物体表面并且将每次的变动都取像作对比可以产生更多的影像点云。如此一来椅子的零组件的3D影像可以得到更高的分辨率，让机器手臂更容易辨识。另外一个独家功能就是Ensense 软件所提供的手眼校正功能。使用IDS原厂的陶瓷校正板来确保像机的座标系统(在IKEA应用案例是固定相机)可以被基座座标系统确认(零部件的位置)。这能够让机器手臂精确的对图像信息做出反应，并且准确的到达目的地。
"对于机器人来说，将IKEA的椅子精准的组装好的複杂度是非常困难的。”NTU的教授Pham Quang Cuong 解释说。"组装的工作，对于人类来说可能非常自然，但对机器人来说需要将步骤拆分成多个步骤，像是先确认每个部件的位置、需要抓取的力度、最后还要确保手臂在运行中不会跟另外的手臂运行路线冲突。”通过投入大量的工程技术，我们开发出了能让机器人顺利的组装椅子的演算法。” NTU 的机器人可以在8分钟55秒内组装好一套IKEA的 “Stefan”椅子。
总结
最后还要确保手臂在运行中不会跟另外的手臂运行路线冲突。”通过投入大量的工程技术，我们开发出了能让机器人顺利的组装椅子的演算法。” NTU 的机器人可以在8分钟55秒内组装好一套IKEA的 “Stefan”椅子。
根据 Pham Quang Cuong教授的说法，这个应用在未来可以透过利用人工智能来提升更高的效率。: "我们正尝试透过使用更多的人工智能来让机器人达到更高的自动化程度，并且可以透过人类示范或是阅读组装说明书来学习各个不同组装的步骤，最终可能直接由组装好的照片直接产生组装的知识。”
由NTU新加坡科学家开发的机器人是用于研究灵巧运动，作为机器人领域中需要精确控制机器人手臂，或是手指的力量和运动。这需要所有硬件与软件的完美配合。使用Ensenso立体3D相机进行3D图像处裡是关键。他不仅在准确性方面，同时在经济层面和速度方面都让人信服。这代表了家具组装革命性的突破。
Ensenso N35 一目瞭然。精准高速的3D视觉
- GigE介面 - 多功能灵活
- 精巧坚固的铝制外罩
- IP65/67
- FlexView 投影器/ 捕捉静止的物体
- 全局快门CMOS传感器以及图案投影器，有蓝光或是红外LEDs
- 最快帧数(3D):10/每秒 (2xBinning:30) 以及視差數64
- 最快帧数(offline processing):30/每秒 (2xBinning:70) 以及視差數64
- 最大工作距离3,000毫米(N35) 可变动的视野范围
- 在多重相机模式下输出集成过的3D point clouds(点位置资讯)
- 集成的FlexView技术，困难的物体表面也可以得到更精準地点云图以及3D数据
- 复数视角组成的即时3D point clouds(点位置资讯)
- 使用纹理投影立体视觉处理技术捕捉没有纹理的物体表面的影像
- 捕捉静态跟动态物体
- 可免费下载对应Windows 以及Linux的驱动程式以及API
- 单一版本软件包支援 USB 以及GigE的型号
- HALCON, C, C++以及 C# 樣本程式(原始碼提供)
- 出厂前校正,安装设定更简单
- 通过视觉校正板来集成机器手臂视觉的校正集成功能
- 在软体上近一步集成uEye 工业相机，可以捕捉额外的色彩资讯或条码
- 通过 Subsampling 跟 binning 可以获取弹性较大的资料跟帧数
NTU Nanyang Technolocigal University Singapore
School of Mechanical and Aerospace Engineering
50 Nanyang Avenue
Singapore 639798
https://www.ntu.edu.sg/
