嵌入式视觉方案采用USB3.0 单板相机

The flying eye

嵌入式视觉方案采用USB3.0 单板相机

除了3D立体视觉以及机器人视觉,嵌入式视觉也是最近机器视觉的热门话题。因为在缺少即时的机器视觉的辅助下,将不会有自动交通运输,以及在工业4.0环境下的机器人应用,而自动驾驶以及无人飞行器也将无法实现。然而传统机器视觉系统因为成本以及体积等问题无法被市场接受,而智慧相机的功能性也有许多的限制。只有透过使用小型紧凑的单板影像处里相机,配合可以灵活应用的编写程序软件可以根据应用内容来客制成适合机器或是车辆使用的机器视觉方案。其中一个客制化的应用就是Braunschweig University of Technology所设计的螺旋桨的无人机,用于即时建立受灾区地图。地图由板及相机内嵌的视觉系统所建立,其中包含了使用ARM 的单板电脑,以及IDS的USB3.0板级相机。

Drone(无人机)在灾害发生时能有什么帮助呢? Drones(无人机)可以应用在不同的目的用途,例如获取水源的样品,投放救生绳索, 提供人员无法轻易达到的地区的地理数据以及图像。AKAMAV 团队是由Braunschweig University of Technology 所组成,并且得到Institute of Flight Guidance (IFF)的支持,已经组建了特殊装配的多螺旋无人机。

空中微型飞行器 (MAV) 飞跨受灾区 – 地震现场,或是水灾氾滥的城市,或是工厂的火灾现场 – 透过提供即时的地图影像资讯,救援队可以立即做出任务的计画。无人机是自动操作。其运作范围是用卫星地图来规划限制。根据区域的大小以及所要求的分辨率而生成航路点列表。无人机透过采用GNSS 技术(全球卫星导航系统) 或是 GPS。无人机可以自动起降。

空中微型飞行器 (MAV) 飞跨受灾区 – 地震现场,或是水灾氾滥的城市,或是工厂的火灾现场 – 透过提供即时的地图影像资讯,救援队可以立即做出任务的计画。无人机是自动操作。其运作范围是用卫星地图来规划限制。根据区域的大小以及所要求的分辨率而生成航路点列表。无人机透过采用GNSS 技术(全球卫星导航系统) 或是 GPS。无人机可以自动起降。

所谓的即时要求不包含目前市场上可获得的遥感方式,例如摄影测量。这些方式往往需要强大的运算能力并且需要等到所有的影像撷取完成并且透过演算法结合图像。虽然使用者些技术可以得到更精确的地图,精确度在立即的得初期的灾害状态情报的任务中并不那么优先,而是要确保不要耽误了黄金救援的时效性。相较之下,AKAMAV所设计的解决方案是基於图像镶嵌或是缝合的技术,这是将许多区块图像迅速拼贴制作成一个全面的大面积图像。然而,为了在飞行器运行中能够完成这项任务,相机所撷取的图像必须透过电脑迅速地进行影像处里。

螺旋槳無人機裝配IDS USB 3.0 工業相機以及 ARMv7 單板電腦
螺旋槳無人機裝配IDS USB 3.0 工業相機以及 ARMv7 單板電腦

传统的视觉系统是由工业相机连透过USB,GigE,FireWire等接口规格来链接桌上型电脑,笔记本电脑,或是工业电脑; 实际的影像处里是由电脑内安装的机器视觉软件以及其应用中使用所适用的配件所完成。这种配置对于空间的需求比较大,并且相对的造价成本比较高,虽然传统的机器视觉系统功能性强大,但对于应用内容可能是一种浪费。使用单板电脑并且结合开源操作系统的嵌入式系决系统可以有效缩小体积,然而保有灵活的编程特性,同时造价低廉。USB接口的板级相机可以完美地与ARM环境的单板电脑结合。这种组合提供足够的运算能力,而且省电,可以以不同的方式组合,并且可以保持小巧的体积,往往低于100欧元。例如现在流行的 Raspberry Pi做。 AKAMAV 使用小巧但同时具有强大运算能力的ODROID-XU4 主机板,面积只有83 x 60 mm,采用8-core ARM CPU 并且在Linux环境下运作。然而,单板电脑具备了所有的基本接口介面 (包含 GigE, USB 2.0, 以及 USB 3.0) 然后透过USB接口连接到飞行器的自动驾驶系统。电脑不仅仅接收透过这个数据连接所提供的状态情报,并且同时接收目前位置的经纬高度等资讯, 大气压力以及高于参考椭圆体的高度。

相机

影像则是透过IDS的USB3 uEye LE 系列相机所提供。USB3.0的板级相机的工业相机体积只有 36 x 36 mm,却提供所需要的基本的功能。这款板级相机有搭载最新onsemi 以及e2v Cmos 传感器,最高可以达到18MP。8-pin 接脚提供5V的电源供应, 击发以及闪光,2 GPIOs以及一组 I2C bus 用于控制周边的装置确保不被限制的连接以及高度的灵活应用。

AKAMAV 团队将配备2MP CMOS传感器的UI-3251LE-C-HQ (使用S接口) 安装在无人飞行器上, 是因为相机的像素在这个应用中的要求不是第一优先的考量,KAMAV团队的学生解释说。"原始图档透过影像处里后会进而减少影像尺寸以确保演算法所需要的效能。一旦相机解取了影像就会传送到单板电脑,系统会开始透过影像搜寻地标,作为特征参考。系统会搜索下一个图像的特征,与上一个图想做配对。利用相同的接点,系统可以确定相对图像被截取的方式,并且快速的用来接合完成地图的制作。”对一公顷的面积,无人机需要花费约4到5分钟的时间才能从开始到到达拍照的地图边缘。在高度40米时使用1200 x 800 像素拍摄时,地面的分辨率相当於平均7 cm/pixel

嵌入式视觉系统被设计适合无人机在最高空中运行速度 5 m/s 以内有最大的功效。因此,1-2fps的相对低速拍摄完全能满足应用需求,并且也不需要缓冲图像数据。如果飞机与控制站之间使用无线电连线时,则可以在地面就直接及时了解地图拼贴过程。当地图制作过程结束后,完整的地图将可以直接透过无线电波传输,或是利用外接式的储存装置储存,代无人机回到基地后在读取。

软件

被AKAMAV 团队所使用的机器视觉技术,采用开源的电脑视觉图书馆OpenCV 以及 C++。 "如同问题的症结是在即时获取资讯,软件必须要非常有效力,这也是为什么高阶的电脑语言是值得被评估使用的。OpenCV 在过去几年内再图像研究以及影像分析领域内已经成为机器视觉的标準" AKAMAV 的学生团队成员评论说到。

相机使用uEye API 来集成。API 在所有的视觉应用程式中扮演了关键的角色。这是由于他不仅仅决定让相机的功能是否能轻易的被使用,而且同时也探索了相机在应用中的潜力。IDS 提供了一个最关键的优势,自主研发的”标準”,对于嵌入式视觉应用的开发者来说是一个很大的吸引点跟优势: 毕竟,使用什么规格的相机或是使用什么接口技术 (USB 2.0, USB 3.0, or GigE) 来跟电脑或是嵌入式平台座连接都不是重点,uEye API 永远都保持其一贯性。这不仅有利于相机平或平台的可互换性,同时允许开发人员使用桌上型电脑开发应用程式然后再导入嵌入式电脑上使用这些项目,而且不用耗费时间对编写程式做调整。在集成相机以及集合第三方视觉软件(例如HALCON)的过程,在桌上型电脑以及嵌入式电脑的环境是完全一样的。特別的工具,像是uEye Cockpit,也是IDS自行开发软件套装的其中一个,可以降低用户需要花费在编程上的时间。正如座右铭"用配置取代编程",相机可以在桌上型电脑中就预先透过点击选向来做设置。这些设定都可以储存然后再上传到嵌入式的视觉系统上。在嵌入式的领域中,特別是透过交叉编译的编程往往非常耗费时间,并且常常因为设备本身没有显示萤幕或是鼠标键盘等周边来进行配置设定。在这种情况下,uEye Cockpit 中的预设相机配置的选项对于项目的开发跟完成显著特別重要。

USB 3 uEye LE工业相机—IDS系列相机中的“相机精灵”,小巧玲珑、物超所值

IDS USB 3.0工业相机