技术文件

加强版3D视觉相机

IDS借助3D相机数据简化工作

目前,通过3D相机数据实现环境感知催生了诸多此前只能由人类来完成的创新性应用。现在,机器人能够像人类一样识别物体并独立应对各种不同的动态未知环境。除了能够识别对象在车间的空间维度以及位置之外,机器人还能准确地感知物体与参照物之间的差异或存在的缺陷。
 
在工作中使用3D工业相机及其数据极为复杂,在开发应用时需要完成大量的准备工作并耗费大量的设置时间。尤其是在多相机应用中或与机器人结合使用的情况下,需要先对多个坐标系进行复杂的校准才可有效地使用数据。由于系统依赖性很强,通常需要直接在系统中开发应用,以便生成可用数据。此外,许多3D工业相机的视野和分辨率并不能满足较大作业空间的应用需求。
 
在开发新款Ensenso SDK 2.2及Ensenso X系列的全新5 MP型号时,我们充分考虑了这些需求。产品细节取得了诸多改善,进而使集成更为简单。

 

型号众多、速度更快、质量更高

Ensenso 3D工业相机完美适用于静态和移动应用场景。FlexView技术与先进的SC算法(序列相关性)珠联璧合,优化了N35、X36 1.3 MP和X36 5 MP型号执行料箱取件或高精度物体对比时的准确度。可移动的高性能投影机能够产生随机图案,生成表面结构各不相同的受测物体图像。SC算法使用该输出计算3D物体数据,图像对越多(最多16对),准确度越高。
 
在处理移动物体的应用场景(如传送带)或相机需要移动的情况下,Ensenso系列的N30、X30 1.3 MP和X30 5 MP是完美之选。优化的SGM算法(半全局匹配)能从单一图像对中获取相当精确的深度信息。IDS网站上提供的Ensenso相机选择器能帮助您找到适合每个应用场景的相机。

视野更大,眼界更宽

Ensenso 3D相机系列集成了两个Sony IMX264 5 MP图像传感器,3D图像分辨率比此前的1.3 MP版本提高了约35%,同时视野也拓宽了约20%。在捕捉尺寸为120 x 80 x 100 cm的包装欧式货盘的完整图像时,相机与受测物体之间的距离可由1.5米缩短至1.25米。因此,本地传感器的分辨率也得到了有效运用。与噪点更低的Sony传感器结合使用,能取得更精准的深度信息(Z精确度),由此前的0.43毫米提升至0.2毫米。

计算速度更快,支持嵌入式应用

更强大的传感器自然会产生更多的数据,因此需要耗费更久的处理时间才能得到可用结果。使用5 MP型号进行参考测量的结果显示:对图像对中的图像进行匹配以获取一张完整的3D图像所需时间约为普通处理时间的四倍之久。然而,16个高分辨率5 MP图像对的3D图像序列相关性计算仅需约2.5秒即可完成,这足以满足大多数应用的需求。对于有更高速度要求的应用而言,与5 MP图像对进行半全局匹配能提供足够高的精确度,且计算时间仅为1.1秒。
 
加强版3D视觉相机对统一计算设备架构(CUDA)进行了重要的计算优化,以应对更大的数据量,并抵消相应的时间损失。NVIDIA图像处理器(GPU)额外的计算能力使处理速度加快了约五倍,具体取决于所用的GPU和相应算法的参数设定。
 
CUDA的强力支持让3D应用受到嵌入式环境的青睐。NVIDIA Jetson TX2板便是一个合适的平台。尽管立体视觉计算能获取256个CUDA核心,但仍可利用可用的ARM CPU运行适用于嵌入式设备的HALCON软件进行后续的图像处理。

多相机功能

Ensenso软件库提供大量实用的功能,使多个相机可在同一应用中协同工作。这些相机的视野及位置均不相同,因此在实际工作中,需要调整它们的坐标系,使它们能够适应彼此,或者调为统一的物体坐标系。如果相机与机器人协同工作且相机的运动必须与相机数据协调一致,还可进行手眼校准。在校准过程中,用户可根据内置校准向导程序操作。
 
除额外的Ensenso立体相机外,SDK还支持在同一应用中轻松集成和校准单筒2D uEye相机。2D相机的功能可极大提高3D应用中检测及测量结果的质量。立体相机难以辨识位于边缘地带的物体,而2D相机的边缘检测及颜色辨识功能可完美补足这一缺憾。此外,2D相机还可用于获取条码内容等其它信息。因此,Ensenso软件对这两项技术的集成进行了优化。特制的校准模板还有助于设置和调整多相机系统。NxLib库可使用多个校准板(部分校准板受该款相机支持)识别任何大小的物体坐标系以及相机的相对位置,然后在相机之间实现同步。

虚拟化简化开发及调试

应用开发者将从“文件相机”和“虚拟相机”扩展中受益。为改进算法和进程,有必要对同一数据进行多次调试。文件相机可像真实相机一样在系统中运行,不同之处在于其图像来自于存储数据集的本地文件夹。如此一来,便可反复模拟应用序列,而无需接入真实系统或重建情景。另一个理想的调试方式为:用户保存有问题的数据集并将其交给图像处理专家。通过这种方式可轻松复制错误。
 
借助“虚拟相机”,用户可在脱机环境中完成模拟,例如:使用不同型号的相机评估数据质量、完整性、分辨率及噪声。可根据需要导入、渲染和定位STL或PLY格式(用于存储三维数据的常见文件格式)的对象。这使得用户可对同一检测过程的不同版本进行性能评估,而无需搭建一个真实的系统。此外,还集成了作为手动建模替换方案的场景编辑器。用户还可轻松模拟料箱中存在不同零件且方向各异的料箱取件应用。随机功能使用户可对无数存在略微差异的应用场景进行测试,如同在实际操作中递送未分类的零部件一样。每个Ensenso型号都可用作“虚拟相机”。如此,用户可通过在线相机选择器选择每种可能的型号,并在系统搭建之前对其进行模拟。借助这两款工具,用户可轻松实现对3D应用的预先测试及优化。
NxView演示程序中带模拟原始图像及深度信息的虚拟场景。
NxView演示程序中带模拟原始图像及深度信息的虚拟场景。

总结

对3D应用的“优化”将不可避免地导致与相机协同工作的复杂度提高及数据量增加。借助Ensenso SDK 2.2和全新5 MP相机型号,IDS提供多种解决方案来简化系统集成商及开发者的3D数据处理工作。通过进一步优化软硬件,IDS支持开发功能更加强大的3D应用。即使在诸如“料箱取件”等高难度任务中,也能满足质量、循环率和经济性以及机器人视觉应用快速可用的需求。