抓取隨機物品
机械手自动化在物流中的应用
全球性的流行病从根本上影响了供应链和物流行业，因此对机器人自动化的需求比以往任何时候都更为迫切。仓储中70%以上的劳动力都用于拣货和包装，众多企业逐渐投入到物流自动化中。但是，当机器人必须处理无限数量的（未知的）存货保管单位时会发生什么？这些公司需要一种快速、可靠、稳健的方式来自动拣选和放置大量的物体。This challenge was taken up successfully by the Dutch company Fizyr.这家位于代尔夫特的计算机视觉公司专注于让机器人即使在恶劣的物流环境中也能拣选未知物体。其结果是一个自动化的视觉解决方案，可以在各种条件和应用中实现物流自动化，如物品拣选、包裹处理、拆垛、卡车卸货或行李处理。为了用最佳的硬件来完善系统，Fizyr将紧凑、坚固的Ensenso 3D摄像机与IDS的高性能GigE uEye摄像机相结合。
應用
Fizyr没有像市场上大多数厂商那样提供专有的分拣单元，而是创造了一种即插即用的模块化软件产品，可以与任何系统顺利集成，让集成商可以自由选择最佳的硬件（如Cobots或工业机器人）作为分拣单元。在促进成本、稳健性和速度优化的同时，IDS是摄像机方面的首选合作伙伴。实质上，摄像头看到的产品要进行挑选或分类。根据客户的具体应用，最多可以使用四台Ensenso 3D摄像机与功能强大的GigE uEye CMOS摄像机相结合。集成的IDS工业相机确保了Fizyr软件算法所需的可靠、精确的图像采集，每秒可提供100多个抓取姿势，包括分类处理不同的物体。该软件还可以进行质量控制和检测缺陷，以防止损坏的物品被放置在分拣机上--借助IDS摄像头作为自动系统的锐利眼睛。
因此，这些算法能够提供所有有关包裹类型（包括箱、袋、信封/平面、管状、圆柱体、可变形等）的分割和分类信息。该系统可以识别离群值或不可输送物（即损坏的货物），6个DoF（自由度）的最佳抓取姿势，以及每个物体的多个有序姿势。它可以让传感器或机器人处理紧密堆叠或重叠的物体、高反射的物品和塑料袋中的服装、白底白字和黑底黑字的平面，以及透明物体。
由于立体视觉的质量直接取决于场景的光照条件和物体表面的纹理，因此在纹理较少或反光的表面上寻找和计算对应点的坐标是非常困难的。为了满足这些高要求，Fizyrs为客户提供解决方案的首选是IDS产品组合中的摄像机型号。从而对任务进行了很好的分工。uEye GigE CP相机正在拍摄物体的二维图像，并将其作为Fizyr算法的输入，然后Fizyr算法对相机下的物体进行分类。物体可以是未知的，形状、大小、颜色、材质、堆积都各不相同。然后，Ensenso摄像头创建点云图，Fizyr的软件将其与二维图像的信息相结合，分析云的表面是否有适合抓取者（或多个抓取者）的抓取姿势，并提出最佳姿势。对不同材料的表面进行清晰的表示是至关重要的，因为它是其算法的关键组成部分。IDS的Ensenso 3D摄像机没有问题。它们通过额外的技术改进了经典的立体视觉原理，以实现更高质量的深度信息和更精确的测量结果。
即使在恶劣的光照条件下，该系统也能平穩的分類未知包裹。
相機
具体的摄像机型号，以及每个系统的摄像机数量，取决于客户的具体使用情况。对于典型的用机器人拣选垃圾箱的解决方案，一个Ensenso N35和一个GigE uEye CP一起使用，但也有客户使用一个Ensenso X36和一个GigE uEye CP一起拣选垃圾箱，同时使用4个Ensenso N35摄像头将物品存放在其他垃圾箱中。
推荐的uEye CP是 "Compact Power "的缩写，是各种工业应用的小强。它通过广泛的像素预处理提供了最大的功能，并且由于内置120 MB的图像内存，也非常适合多相机系统。摄像机以全千兆以太网速度传输数据，并通过PoE（"以太网供电"）实现长达100米的单电缆操作。所选的UI-5240CP-C-HQ Rev.2是一款功能特别强大的工业相机，采用e2v 130万像素CMOS传感器，有单色和近红外两种版本。这是IDS产品系列中最灵敏的传感器之一，除了这里使用的彩色版本外，还有单色和近红外版本。除了对光线有出色的敏感度外，该相机还具有其他一系列独特的功能，使得传感器在要求或环境条件发生变化时极为灵活。
"Fizyr通常每个系统使用一台摄像机，通常uEye摄像机与Ensenso N35和X36结合使用，但没有限制。Fizyr首席执行官Herbert ten Have强调说："到目前为止，Fizyr最常见的使用案例是每个系统有一个uEye和一个Ensenso。
不同的Ensenso机型有一个共同点：通过使用图案遮罩，即使在光照条件困难的情况下，处置光照密集型投影机也能在物体表面产生高对比度的纹理。投射的纹理补充了薄弱或不存在的物体表面结构。因此这个原理也被称为 " 投影纹理立体视觉 " 。这样一来，就能得到更详细的差异图，也能得到更完整、更均匀的场景深度信息。
这两款Ensenso 3D相机型号具有广泛的功能，可用于供应链和物流行业的各种高要求应用，如3D物体识别、分类和定位（如质量保证、调试）、物流自动化（如（去）托盘化）、机器人应用（如垃圾箱拣选）、捕获最大8立方米的物体（如托盘）或自动存储系统。
Fizyr已经将Ensenso SDK集成到其软件中，使用了一个现代化的快速封装器"。"一个很大的优势是2D/3D结合，可以将2D摄像头的图像作为叠加的方式放在3D点云上。
这样可以让人对现场有更生动的影像。另一方面，可以通过 "手眼校准 "的方式，将摄像头图像与机器人坐标系进行优化调整，以保证目标导向的抓取。
Outlook
电商的强势发展，加大了对大包装的需求。同时，由于全球大流行病的制约，既导致了现有劳动力的减少，也导致了企业对物理距离的迫切需求。为了应对这些挑战，企业越来越多地转向机器人自动化，而人工智能和机器视觉在其中起到了至关重要的作用。同时，这也降低了成本，提高了职場安全
全球范围内对最先进的自动分拣单元的高质量模块的需求正在增长。系统集成商对软件和硬件组件的要求也在不断提高。Fizyr-IDS解决方案具有以下优势。
- 作为一个即插即用的解决方案，它可以轻松地集成到任何系统中。
- 它与硬件无关，因此，客户可以随时根据自己的需求灵活调整订单拣选系统。
- 它包括一个强大的、精确的、灵活的、易于使用的3D视觉系统，可随时提供最佳的对象信息。
- 这些都是面向未来的自动化 "好人 "系统中不可缺少的组成部分。
Ensenso N 35: 3D视觉相机，快速精准
Ensenso N35 3D相机的铝制外壳小巧坚固，带有用于触发和闪光灯的可锁定GPIO连接器和GigE连接器，拥有两个单色CMOS传感器（全局快门，1280×1024像素）和一个投影仪。通过以太网供电，可以用长电缆进行数据传输和供电。由于集成了FlexView技术，N35型号特别适用于静态物体的3D采集，工作距离可达3000毫米。
Ensenso X36: 3D立體視覺使用模組化3D相機系統
Ensenso X36 3D摄像机系统由一个投影机单元、两台GigE uEye摄像机（传感器为1.3MP或5MP（CMOS，单色））、安装支架和调整角度、三个镜头以及用于连接摄像机和投影机单元的同步和跳线组成。FlexView技术确保了更好的空间分辨率，以及系统在黑暗或反射表面的高稳定性。
客户
Fizyr设计、制造、安装和维护世界上最好的视觉软件产品，用于在恶劣的物流环境中进行自动拣选和放置。他们的学习算法用于实现自动处理形状、大小、颜色、材料和堆叠不同的未知物体，从（输送的）散件中挑选。Fizyr的产品被全球领先的系统集成商和终端用户应用于在线零售、仓储和包裹服务的生产中。
www.fizyr.com
