EyeBot – 视觉引导机器人

对于“智能抓取”,不同学科必须以最佳方式合作。举个例子来说,要使用机器人对不同大小、形状、材料或质量的产品进行分类,那么不但要进行抓取,还必须事先进行识别、分析和定位。对于基于规则的图像处理系统,这通常不仅非常耗时(处理小批量任务时尤其严重),而且在经济上几乎不可行。但是,工业机器人与基于AI的推理结合后,已经具备了熟练工人所需的技能和产品知识。事实上,不再需要为单个子任务重新设计方案。只需要让合适的产品以跨学科的方式有效协同工作,构成一个“智能机器人视觉系统”,就足够应对这类任务。

EyeBot用例

在生产线中,物体随机散布在传送带上。必须检测、选择对象,根据需要将其放入包装中,或将其传递到正确的位置,以便进行进一步的处理或分析。软件公司urobots GmbH开发了一种基于PC的解决方案,用于检测物体和控制机器人。他们训练的AI模型能够识别相机图像中物体的位置和方向,从而确定机器人的抓取坐标。现在的目标是将该解决方案迁移到IDS Imaging Development Systems GmbH的基于AI的嵌入式视觉系统。对于urobots来说,解决方案中最重要的两大要求是:

  1. 用户应该在不需要特殊AI专业知识的情况下,轻松针对不同用例调整系统。这意味着,即使生产环境发生一些变化,例如照明、对象的外观发生变化,甚至增加了其他对象类型,系统依然可以发挥作用。
  2. 实现设备组件之间的直接通信,使整个系统可以彻底摆脱对PC的依赖,从而减小成本、降低重量并节省空间。

IDS推出的IDS NXT Experience Kit推理相机系统已经具备了这两项要求。

urobots GmbH董事总经理Alexey Pavlov解释说:
“所有图像处理都在相机上运行,相机通过以太网与机器人直接通信。这是由使用IDS NXT AI核心的IDS NXT Vision App Creator开发的视觉应用实现的。视觉应用使相机能够在图像信息中定位和识别预先训练的(2D)对象。例如,可以在正确的位置抓取位于平面上的工具并放置在指定的位置。无PC系统可节省成本、空间和能源,从而实现简单且经济高效的分拣解决方案。“

位置检测和直接机器通信

经过训练的神经网络识别图像中的所有对象,并检测它们的位置和方向。AI不仅能处理外观保持不变的固定对象,也适用于存在大量自然变化的情况,例如食物、植物或其他柔性物体。这使得物体的位置和方向识别非常稳定。urobots GmbH使用自己的软件和知识为客户训练网络,然后将其上传到IDS NXT相机。要做到这一点,必须将它转化成一种特殊的优化格式,类似于一种“链表”。借助IDS提供的IDS NXT ferry工具,将训练好的神经网络移植到推理相机中就变得非常容易。在这个过程中,CNN网络的每一层都成为一个节点描述符,这种描述符可以精确描述每一层。最终的结果是以二进制表示的CNN的完整串联列表。CNN加速器IDS NXT Experience Kit核心是专门为该相机开发的,以FPGA为基础,非常适合执行这个通用CNN。

然后,urobots开发的视觉应用根据检测数据计算机器人的最佳抓取位置。但这还不够。除了抓取什么、在哪里以及如何抓取的结果外,IDS NXT相机和机器人之间还必须建立直接通信。尤其不应低估这项任务的重要性。这通常是决定解决方案需要投入多少时间、金钱和人力的关键因素。urobots通过IDS NXT Vision App Creator在相机的视觉应用中实现了基于XMLRPC的网络协议,可以将具体的工作指令直接传递给机器人。最终的AI视觉应用能在大约200毫秒内检测到物体,并实现了+/-2度的定位精度

IDS NXT相机中的神经网络定位并检测物体的准确位置。机器人可以根据这些图像信息,独立取放这些物体。
IDS NXT相机中的神经网络定位并检测物体的准确位置。机器人可以根据这些图像信息,独立取放这些物体。

不仅实现了人工智能,更摆脱了对PC的依赖

这个用例的突出之处不仅仅是人工智能,这个解决方案完全可以在没有PC的情况下工作。这一点有两个方面的优势。首先,由于相机本身不仅仅传送图像,更可以生成图像处理结果,这样就可以省去PC硬件和所有相关基础设施。最终可以降低系统的购置和维护成本。然而,通常情况下,直接在生产现场做出流程决策也很重要,也就是要满足“及时”的要求。这样,系统就可以更快地执行后续处理,并消除延迟,这在某些情况下还能够提高时钟频率。

其次,这种方式可以降低开发成本。AI视觉或神经网络训练的工作方式与基于规则的经典图像处理完全不同,这也改变了图像处理任务的方法和处理方式。最终质量不再由图像处理专家和应用开发人员人工开发的程序代码决定。换句话说,如果可以基于AI实现一个应用,IDS NXT Experience Kit还可以节省相应专家的成本和时间,因为有了用户友好的全面软件环境,每个用户群都可以训练一个神经网络,设计相应的视觉应用,并在相机上执行。

EyeBot用例展示了计算机视觉如何成为无PC的嵌入式AI视觉应用。基于视觉应用的概念的可扩展性、针对不同目标群体的应用开发以及端到端生产商支持也是小型嵌入式系统的优势。有了EyeBot,就可以在应用中清楚分配各种能力。用户的注意力可以集中在他的产品上,而IDS和urobots则专注于训练和运行AI,以进行图像处理和控制机器人。另一个优势是,通过基于以太网的通信和开放式IDS NXT平台,视觉应用还可以轻松适应其他物体、其他机器人模型,从而适应许多其他类似应用。

视频展示了urobots的EyeBot