机器人玩“石头、剪刀、布”- 第1/3部分
智能相机手势识别
Sebastian Trella对技术和机器人充满热情。在他自己的博客中，他总是勇于迎接新挑战。然而，他几乎从未从事过图像处理工作。他看到一位同事的乐高头脑风暴机器人可以用几个不同的传感器识别手势，就产生了一个想法：“机器人应该能够‘看见’。” 到目前为止，机器人只能可靠识别在面前一个特定点上做出的各个手势。为此需要多个传感器，这降低了系统的灵活度，也影响了游戏的乐趣。图像处理能更“优雅”地完成这项任务吗？
从理念到实施
在寻找合适的相机时，他发现了IDS NXT - 一个用于智能图像处理的完整系统。它满足了所有这些要求，而且在人工智能的帮助下，相机不但可以识别手势，还可以满足更多要求。这激发了特雷拉的兴趣。这是因为无需额外的PC，就可以在相机内或者借助相机完成对图像的评估和结果传输。此外，IDS NXT Experience Kit提供了各种组件，方便您在没有任何人工智能知识储备的情况下立即开始使用应用。
Trella进一步发展了这个想法，并开始开发一种可以玩“石头、剪刀、布”游戏的机器人，游戏过程遵循经典玩法：（人类）玩家需要在镜头前做一个熟悉的手势（石头、剪刀、布）。虚拟对手此时已经随机确定了他的手势。系统实时评估动作，并显示获胜者。
第一步：基于图像处理的手势识别
但在此之前，还需要一些中间步骤。Trella开始使用图像处理实现手势识别，这是这位机器人迷的新领域。然而，在IDS lighthouse（一个基于云的人工智能视觉工作室）的帮助下，实现起来比预期更容易。在这里，您可以根据想法打造完善的应用。为了实现目标，需要通过包含必要产品知识的应用图像训练神经网络（在本例中就是从不同角度做出的一次手势），并打包成相应的应用工作流。“训练过程非常简单，我在不同的背景下以不同的角度用石头、剪刀或布的手势拍了几百张手的照片后，使用IDS Lighthouse的分步向导就可以轻松完成。第一个经过训练的AI就可以直接可靠地识别手势，”Sebastian Trella解释说。这不受左利手或右利手的影响，识别率约为95%。按标签“石头”、“布”、“剪刀”或“无”返回概率。一个令人满意的结果。但是现在如何处理所获得的数据呢？
进一步处理
可以通过专门创建的vision app对识别出的手势进行进一步处理。为此，在人工智能评估后，必须将捕捉到的各个手势的图像传递给应用。后者“知道”游戏规则，因此可以决定哪个手势胜过另一个手势。然后决定获胜者。在开发的第一阶段，应用还将模拟对手。所有这些目前都在制作中，下一步将成为一个“石头、剪刀、布”游戏机器人。
从游戏到日常使用
起初，这个项目更像是一个小把戏。但它能带来什么呢？老虎机？甚至可能是一个基于AI的手语翻译？
让我们继续关注...