使用智能无人机检查重要基础设施

2025年04月08日

智能导航，安全检查

对能源工厂、桥梁或工业综合体等重要基础设施进行检测，对于确保其安全性、可靠性和长期功能性至关重要。传统的检查方法总是需要人员进入难以进入或有风险的区域。自主移动机器人为提高检查效率、安全性和准确性提供了巨大潜力。无人驾驶飞行器（UAV），尤其是无人机，已经成为前景广阔的平台，因为它们可以灵活使用，甚至可以到达难以从空中进入的地区。这方面最大的挑战之一是如何使无人机相对于要检查的物体精确导航，以便可靠地捕捉高分辨率图像数据或其他传感器数据。克拉根福大学的一个研究小组利用人工智能设计了一种基于物体相关导航的实时无人机。此外，还搭载了 IDS Imaging Development Systems GmbH 公司 uEye LE 系列的 USB3 Vision 工业相机。

该研究项目由奥地利联邦气候行动、环境、能源、交通、创新和技术部（BMK）资助，作为该项目的一部分，无人机必须能够自主识别什么是电线杆，什么是电线杆上的绝缘体。它将围绕绝缘体飞行三米，并拍摄照片。"克拉根福大学网络系统控制研究小组成员、博士生托马斯-格奥尔格-扬托斯（Thomas Georg Jantos）解释说："精确定位非常重要，这样还可以在多次检查飞行中对相机记录进行比较。做到这一点的前提条件是，物体相关导航必须能够从相機捕捉到的原始感官数据中提取有关物体的所谓语义信息。语义信息使原始数据（这里指像机图像）变得 "可理解"，不仅可以捕捉环境，还能正确识别和定位相关物体。

Thomas Georg Jantos 与无人机和集成 IDS 像机 — Thomas Jantos 与无人机巡检 - 图片：aau/Müller

在这种情况下，这意味着图像像素不仅被理解为一个独立的颜色值（如 RGB 值），还被理解为一个物体（如隔离器）的一部分。与传统的全球导航卫星系统（GNNS）相比，这种方法不仅能提供空间位置，还能提供相对于被测物体的精确相对位置和方位（例如：在被测物体的中心位置）。"无人机位于上绝缘体左侧 1.5 米处"）。

关键要求是图像处理和数据解读必须无延迟，这样无人机才能根据检测任务的具体条件和要求实时调整导航和交互。

四旋翼飞行器，配备 USB3 uEye LE 相機 — USB3 uEye LE 可用作四旋翼飞行器的导航相機

通过智能图像处理获得语义信息

物体识别、物体分类和物体姿态估计是利用人工智能在图像处理中进行的。Thomas Jantos 解释说："与使用无人机进行基于全球导航卫星系统的检测方法相比，我们的人工智能及其语义信息能够从某些可重复的视角对基础设施进行检测"。"此外，所选择的方法不会受到大型基础设施或山谷造成的多路径和阴影等常见 GNSS 问题的影响，这些问题可能会导致信号衰减，从而带来安全风险"。

小型四旋翼飞行器能容纳多少人工智能？

硬件设置包括配备 Pixhawk PX4 自动驾驶仪的 TWINs 科学直升机平台、作为机载计算机的英伟达 Jetson Orin AGX 64GB DevKit 和 IDS 的 USB3 Vision 工业相机。"我们面临的挑战是如何将人工智能应用到小型直升机上。与用于训练人工智能的计算机相比，无人机上的计算机仍然太慢"。Thomas Jantos说："随着首次测试的成功，这仍是当前的研究课题"。他介绍了进一步优化高性能人工智能模型以便在车载计算机上使用的问题。

另一方面，正如在大学自己的无人机大厅进行的测试所显示的那样，相机可以直接提供完美的基本数据。在选择合适的摄像机型号时，不仅要满足速度、尺寸、防护等级等方面的要求，还要考虑价格。Thomas Jantos 说："照相机的功能对于检测系统基于人工智能的创新导航算法至关重要"。他选择了 U3-3276LE C-HQ 型号，这是 uEye LE 系列中节省空间、经济实用的工程像机。内置的索尼 Pregius IMX265 传感器可能是 300 万像素级别中最好的 CMOS 图像传感器，可实现 319 万像素（2064 x 1544 px）的分辨率和高达 58.0 fps 的帧频。与滚动快门相比，内置的 1/1.8" 全局快门在短曝光时间内不会产生任何 "扭曲 "图像，这对传感器的性能起着决定性作用。Thomas Jantos 强调说："为了确保安全稳健的检测飞行，高图像质量和帧频至关重要"。作为导航相机，uEye LE 可为嵌入式人工智能提供全面的图像数据，车载计算机需要这些数据来计算待检测物体的相对位置和方向。根据这些信息，无人机能够实时纠正自己的姿势。

IDS 像机通过 USB3 接口与车载电脑连接。"在 IDS peak SDK 的帮助下，我们可以非常容易地将相机及其功能集成到 ROS（机器人操作系统）中，从而集成到我们的无人机中，"Thomas Jantos 解释说。IDS peak还能进行高效的原始图像处理和简单的记录参数调整，如自动曝光、自动白平衡、自动增益和图像降采样。

"相机的功能对于检测系统基于人工智能的创新导航算法至关重要"。

— Thomas Jantos，克拉根福大学网络系统控制研究小组成员、博士生 —

无人机围绕红色电塔模型飞行的可视化路径 — 在克拉根福大学的研究实验室中，围绕带有三个绝缘体的电线杆模型进行检查飞行的可视化飞行轨迹

为了确保高水平的自主性、控制、任务管理、安全监控和数据记录，研究人员在机载计算机上使用了来源可用的 CNS Flight Stack。CNS Flight Stack 包括用于导航、传感器融合和控制算法的软件模块，能够自主执行可复制和可定制的任务。"CNS Flight Stack 的模块化和 ROS 接口使我们能够将传感器和用于位置检测的基于人工智能的'状态估计器'无缝集成到整个堆栈中，从而实现无人机的自主飞行"。Thomas Jantos解释说："我们正在以克拉根福大学无人机大厅的电力塔周围的检查飞行为例，分析和开发我们方法的功能"。

CNS Flight Stack 的信息
 无人机大厅信息

通过传感器融合实现精确的自主对准

无人机的高频控制信号由 IMU（惯性测量单元）产生。与摄像头数据、激光雷达或全球导航卫星系统（GNSS）进行传感器融合，可实现无人机的实时导航和稳定--例如，用于位置校正或与检测对象精确对准。在克拉根福无人机上，PX4 的 IMU 被用作 EKF（扩展卡尔曼滤波器）的动态模型。EKF 会根据上次已知的位置、速度和姿态，估算出无人机现在的位置。然后以高达 200 Hz 的频率记录新数据（例如来自 IMU、GNSS 或相機的数据），并将其纳入状态估计过程。

相机以 50 fps 的速度捕捉原始图像，图像大小为 1280 x 960px。"托马斯-扬托斯解释说："这是我们利用无人机机载计算机上的人工智能模型所能达到的最高帧频。启动相机时，会执行一次自动白平衡和增益调整，同时关闭自动曝光控制。EKF 对预测值和测量值进行比较，并相应地修正估计值。这可确保无人机保持稳定，并能高精度地自主保持位置。

应用前景

"在移动机器人领域的研究中，工业相机是各种应用和算法所必需的。这些相机必须坚固耐用、小巧轻便、速度快、分辨率高。设备上的预处理（例如像素合并）也非常重要，因为它可以节省移动机器人宝贵的计算时间和资源。”Thomas Jantos 强调道。IDS 像机具有相应的功能，有助于在这一前景广阔的研究方法中为关键基础设施的自主检测设定新标准，从而显著提高安全性、效率和数据质量。