可解释的AI
观察、理解和评估AI视觉
AI视觉（也就是AI图像处理）是一个焦点话题。但在工业应用等许多领域，这一项新技术并没有充分得到应用，因此缺乏长期的经验值。虽然市场上有一些嵌入式视觉系统允许AI在工业条件下使用，但对许多设施运营商来说，购买其中某个平台来实现应用升级时仍然存在顾虑。在某些领域，基于规则的图像处理已经遇到瓶颈，直到现在仍然没有解决方案，而AI已经显示出了开创性的新潜力，那么，是什么阻止了新技术的普及速度呢？
事实上，如今，一个人即使没有AI和应用编程方面的专门知识，仍然能够设计自己的基于AI的图像处理应用。虽然人工智能可以加快许多工作流程，同时尽可能减少误差来源，但边缘计算可以避免使用昂贵的工业计算机，也不需要复杂基础设施进行高速图像数据传输。
创新和不同
然而，AI或机器学习(ML)的工作原理与经典的、基于规则的图像处理截然不同。这也改变了图像处理任务的方法和处理方式。最终质量不再像以前那样依赖图像处理专家人工开发的程序代码，而是由使用恰当图像数据的神经网络的学习过程决定。换句话说，检查工作需要的对象特征不再由预定义的规则预先确定，而是必须在训练过程中教会AI自己识别它们。而且，训练数据越多样化，机器学习算法越有可能在以后的操作中识别出真正相关的特征。然而，尽管听起来很简单，但是要实现所期望的目标，仍然需要足够的专业知识和经验。如果缺乏训练，没有形成对正确图像数据的观察能力，仍然会出现错误。这意味着使用机器学习方法的关键能力与基于规则的图像处理不再相同。但并不是每个人都有时间或人力从头开始钻研这个课题，难以自己建立使用机器学习方法的关键新能力。不幸的是，新事物总会面临这样的问题，要马上高效投入运用是不现实的。即使轻松取得了良好效果，但是无法清晰重现，就难以让人信服。
复杂性和误解
作为一个理性思考的人，您或许想知道AI视觉是如何运作的。如果没有可识别、可理解的解释，就很难评估结果。拥有足够的技能和经验才能增强对一项新技术的信心，有时，这些技能和经验必须经过多年的积累，才能让人们了解一项技术的功能、工作原理以及使用控制的方法。对于AI视觉来说，情况更为复杂，这项技术面对的是一种成熟的系统，而在近年来，知识、文档、培训、硬件、软件和开发环境为这种系统创造了合适的环境条件。AI则与之相反，给人的印象仍然非常原始和纯粹，尽管AI的优势众所周知，准确性也很高，但却常常很难诊断错误。不仅如此，人们缺乏对其工作方式的分析，也难以解释其结果，这阻碍了算法的扩展。
（不是）黑箱
人们常常错误地将神经网络的工作方式看做一个黑箱，认为其决策是不可理解的。“虽然深度学习模型确实很复杂，但它们不是黑箱。事实上，称之为玻璃盒子更加准确，因为我们可以真正看到里面的情况，看到每个组件在做什么。“[引自“机器学习中的黑盒隐喻”]。神经网络的推理决策并非基于经典的可理解规则，其人工神经元的复杂相互作用也难以被人类理解，但它们是数学系统的结果，因此是可重复和可分析的。现在（仍然）缺少的是能为我们提供支持的合适工具。在AI这一领域仍有很大的改进空间。这反映了市场上各种AI系统对用户工作的支持程度。
软件可以实现AI的可解释性
因此，IDS Imaging Development GmbH正与各研究所和大学一起在该领域进行研究，开展工作，以精确开发这些工具。IDS NXT Experience Kit推断相机系统已经包含了这种合作的结果。使用所谓的混淆矩阵进行统计分析，可以确定和理解经过训练的神经网络的质量。在训练过程之后，可以使用先前确定的结果已知的一系列图像来验证网络。表格比较了预期结果和推理实际确定的结果。表格清晰展示了系统在处理每个训练对象类别时，正确或错误识别测试对象的频率。通过命中率，我们可以了解训练后的CNN的整体素质。此外，矩阵清楚地显示了识别精度在哪些位置可能仍然太低，无法用于生产。然而，它没有说明原因。
CNN对螺钉进行分类的混淆矩阵显示了通过使用更多图像进行再训练可以提高识别质量。
这就是注意力地图的作用，它显示了一种热图，突出了获得神经网络最多注意力的区域或图像内容，从而影响决策。在IDS lighthouse的训练过程中，根据生成的决策路径激活创建该可视化表格，从而允许网络在分析过程中通过每个图像生成这样的热图。这样，就更容易理解AI做出的关键决定或难以解释的决定，最终让神经网络在工业环境中更容易接受。
它还可用于检测和避免数据偏差（见图“注意力地图”），这种偏差会导致神经网络在推理过程中做出错误的决定。这是因为神经网络本身不会变得智能。输入质量差导致输出质量差。AI系统为了识别模式并做出预测，依赖于数据来学习“正确的行为”。如果AI是在实验室条件下打造的，所使用的数据不能代表后续应用，或者更糟的是，数据中的模式反映了偏差，系统将适应这些偏差。
这张热图显示了一个典型的数据偏差。热图显示了香蕉Chiquita标签成为关注重点，这是数据偏差的一个典型例子。CNN显然通过香蕉的虚假或不具代表性的训练图像了解到，Chiquita标签始终表示香蕉。
在这些软件工具的帮助下，用户可以更直接地追踪AI视觉的行为和结果，找到训练数据集中的弱点，并有针对性地加以纠正。这使得AI对每个人来说都更容易解释和理解。从根本上来说，这只是数学和统计学。遵循和理解数学通常并不容易，但人们可以把混淆矩阵和热图作为工具，来了解决策和做出决策的理由。
我们才刚刚开始
如果使用得当，AI视觉有可能改善许多视觉流程。但单靠提供硬件还不足以让整个行业普遍接受AI。制造商面临的挑战是，通过用户易用的软件和内置流程的形式分享他们的专业知识，为用户提供支持。最佳实践经过多年的发展，通过大量文档、知识转移和大量软件工具建立了忠实的客户群。与之相比，AI仍有很多工作要做，但它正在发展壮大。目前正在制定标准和认证，以进一步提高可接受性和可解释性，并将AI推向大舞台。IDS正在帮助解决这个问题。有了IDS NXT Experience Kit，嵌入式AI系统得以实现，无论用户群体有没有深入的机器学习、图像处理或应用编程知识，他们都可以通过一个全面、用户友好的软件环境快速轻松地将其作为工业工具使用。
详细信息
- 在产品网站上了解有关IDS NXT嵌入式视觉AI平台的更多信息。
- 在技术文章“每个人的AI (AI for everyone)”中，通过IDS NXT Experience Kit推理相机解决方案，轻松初步了解深度学习技术。
- 要详细了解深海核心作为相机平台上的FPGA解决方案的优势，请参阅技术论文“可持续边缘智能”。