机器人玩“石头、剪刀、布”- 第 3/3 部分
决赛中的机器人
最初只是一个即兴的想法，逐渐发展成为 Sebastian Trella——机器人技术影响者和博主的雄心勃勃的项目：机器人与人类进行“石头、剪刀、布”游戏——现场使用 IDS NXT 相机和人工智能支持的手势识别技术。
第 1 部分侧重于基本开发：使用智能图像处理实现手势识别，从而对神经网络进行训练。图像分析和结果通信直接在 IDS NXT 相机上或通过相机进行，无需额外的 PC。第 2 部分是使用专门开发的 vision app 对识别出的手势进行进一步处理。现在是第 3 部分：准备好开始游戏了！系统已最终确定并完成测试，游戏现已正常运行。
最终组装：当组件构成一个系统时
对于此类交互式系统而言，最大的挑战通常不在于各个组件本身，而在于它们之间的相互作用。在这种情况下，相机、逻辑和机械臂也各自可靠地发挥了作用：IDS NXT 相机准确识别了手势，决策逻辑根据规则做出反应，机器人执行了相应的动作。但将所有这些组件整合在一起是一项挑战——尤其是涉及精确计时、信号传输和同步时。“理论上听起来不错的事情，在实践中往往大不相同，”Sebastian Trella很快便意识到了这一点。“得益于IDS NXT平台的开放架构和良好的集成性，这一挑战得以克服。通过针对性测试和迭代优化，原型最终被开发成一个可运行的游戏。”
精细调整：手势识别变得强大
手势识别技术的可靠性在很大程度上取决于训练数据和环境条件——这是 Sebastian Trella 在初期阶段就已经亲身经历的：“最初，我只是用自己的数据集来训练模型。然而，我并未考虑‘图片中没有手’这种情况。这自然导致了错误的评估结果。”但在 IDS lighthouse 培训平台的帮助下，该模型可以轻松扩展。新增了图像，包括在不同背景和不断变化的照明条件下其他人的手。培训中还融入了诸如不同肤色和佩戴戒指等细节。通过对训练数据进行有针对性的多样化处理，识别性能得到了显著提升——人工智能系统现在能够稳定且可靠地做出反应，无论操作者是谁，也不受环境因素的影响。与此同时，Trella 对神经网络的一般处理方法及其在训练过程中的实际需求有了更深入的理解。
实现：机器人怎么玩？
机器人的决定是随机的，它不会虚张声势，也不会从以前的游戏中吸取教训。但这正是这款游戏的魅力所在：人与机器的对抗，就在眼前。游戏分五个阶段进行：
- 相机捕捉人的双手
- 基于人工智能的手势（剪刀、石头、纸张）图像评估
- 机器人通信和移动
- 确定结果（机器人获胜、人类获胜、平局）
- 机器人通信和移动
整个游戏通过智能 IDS NXT 相机上的 vision app 直接控制，无需额外 PC。它能识别玩家做出的手势，利用人工智能对其进行评估，然后向机器人发送数字输入输出信号，触发机器人做出反应。为了保持游戏的公平性，机器人的手势不受玩家动作的影响，而是中立地随机决定。在相机分析玩家的手势时，机器人等待启动信号。直到这时，他也才露出了自己的姿态。然后，相机分析匹配结果，并发送最终决定，机器人随后将结果显示出来。
等待时间和信号传输的协调是一项关键挑战。虽然 vision app 可以在几分之一秒内分析球员的手势，但机器人无法以同样的速度做出反应。因此，这种方式无法同时显示和评估手势。不过，通过有针对性地优化流程，响应时间已大大缩短。“现在，游戏感觉更加动态、流畅。人工智能在相机图像中识别玩家的手，并直接评估手势。该功能非常可靠，无需在显示器上重新显示。现在，机器人完全接管了游戏信息的显示，这大大加快了整个游戏流程，”Trella 解释道。
展望：什么仍未解决，下一步该怎么办？
手势识别的高可靠性开辟了令人振奋的前景。“未来可能的发展方向是无接触机器控制，例如通过工业环境中的简单手势实现，”Sebastian Trella 反思并补充道：“当然，即使项目已经完成，仍然还有许多问题有待解决。例如：如何使机器人与相机之间的通信更加‘优雅’——也许可以通过 RS-232、REST 或 OPC-UA 等接口进行对话？为了获得更逼真的游戏体验，可移动的机器人手是否是合乎逻辑的下一步？”
尽管“石头、剪刀、布”项目即将结束，Sebastian Trella 已经开始规划新的想法，旨在通过人工智能支持实现人类与机器的互动。毕竟：如果机器人今天已经能够与人类互动（借助人工智能）——它还能做什么？