超越帧频
采用基于事件的传感器技术的像机
精确记录和分析快速运动是一项挑战。虽然具有高分辨率传感器和高帧频的高速像机能提供详细的信息，但它们产生的大量数据需要存储、传输和处理。此外，它们还包含大量无关的静态信息，必须花费巨资加以过滤。较低的帧频可以减少数据量，但会导致运动模糊或缺乏细节。因此，使用传统（基于图像的）像机的解决方案往往受到折衷方案的影响。不过，运动信息也可以用一种完全不同的方式记录下来--效率更高，数据量更少！
一种新的传感器技术正是受大自然，特别是人脑的启发而产生的。这项技术不会产生大量冗余图像信息，而是专注于真正的变化。结果是：大幅减少数据量，提供高精度运动信息。这开辟了全新的可能性--尤其是在对速度和效率要求极高的应用领域。这一开创性革命的确切名称是 "基于事件的视觉传感器"，简称 EVS。
突破性的传感器技术
基于事件的成像技术也被称为神经形态传感器技术--能够以类似人类神经系统的方式处理信息的传感器。要做到这一点，我们需要认识到，我们大脑的进化优势不仅仅在于它能高效处理来自眼睛感光器的连续光刺激的大量数据。对亮度、对比度和运动差异等变化做出反应的能力至关重要，而均匀的刺激在很大程度上会被忽视。这意味着，我们将主要精力集中在场景中的动作上，而不是不断捕捉周围环境的每一个静态细节。这样，我们的大脑就能快速处理相关信息，而不会被不必要的数据淹没。
为了再现这种能力，Prophesee与索尼公司合作开发了特殊的像素电子元件，其主要任务只是检测和记录变化。如果像素值的对比度变化超过某个阈值，就会触发所谓的 "变化事件"。每个像素都独立于其相邻像素实时运行。这意味着它不受固定时间间隔的限制（参见帧频）。两个像素事件之间的最小时间跨度是该传感器的一个重要特性，被称为 "时间分辨率"。索尼制定 IMX636 传感器的精度为 1 微秒。这就实现了超快速和几乎 "无间隙 "的动作扫描。要利用基于图像的传感器实现如此快的变化率，需要每秒超过 10,000 幅图像的帧频！
没有照片！只有变化
基于图像的传感器总是定期从整个传感器表面传输完整的数据量，而基于事件的相机在同一时间内往往只产生极少量的数据。这意味着应用程序开发人员不必在高帧频和大量冗余数据之间做出妥协，就能准确捕捉快速事件。这是因为 EVS 像机生成的数据量取决于视场中的活动，并在场景条件发生变化时自动调整。与帧频固定的图像传感器相比，EVS 像素只在视场发生变化时才传输信息和产生数据流量。
运动（不）清晰度
由于其技术原因，传统传感器在快速运动时会产生运动模糊。当对比度边界（如物体边缘）在曝光时穿过多个相邻像素时，就会出现这种情况。每个像素从移动物体的不同位置获取光线。移动速度越快或曝光时间越长，就越难获得不变形的清晰图像。而 EVS 像素则持续分析入射光，只在比较器中记录光量的增减。如果超过设定的阈值，它们就会产生 ON 或 OFF 变化事件，时间精度约为一微秒。利用 EVS 技术，即使是最快的运动也能逐个像素扫描。这样就形成了一个由独立像素事件组成的高分辨率序列（流），描述了一条没有任何运动模糊的运动路径。
基于图像的像机和基于事件的像机的数据比较
基于图像的像机 |
基于事件的像机 |
|
|---|---|---|
数据 |
|
|
更多信息 |
|
|
数据量 |
|
|
质量 |
|
|
数据更少--信息更高效
EVS 像机的原始输出数据（像素位置 X/Y、事件的开/关极性、时间戳 T），即变化事件流的信息内容，非常紧凑高效，但无法提供经典图像。这使得它们非常适合由机器和算法进行处理，但对人类来说却不那么直观或直接可用。如果我们还想将结果流可视化为图像，那么这些图像会让人联想到边缘检测后的二维相机图像。原因是运动过程中对比度的变化在光照均匀的表面上不太明显，而在物体边缘上则比较明显。
由于只记录相关数据，因此大大减少了数据量，从而大大降低了存储要求和处理工作量。此外，事件信息已经为识别运动模式和方向提供了支持。记录事件之间的时间间隔也可用于直接计算像素或物体的移动速度，而无需处理大量图像，例如从不必要的静态背景数据中分离出相关信息。
由于数据量小，许多过程几乎可以实时分析。多像机系统也更容易实现，因为它们所需的技术工作要少得多。无论是主机 PC 的图像处理性能，还是由电缆、电源等组成的外围设备，其尺寸都可以更小，成本效益更高。
时间即信息
基于微秒级精确时间戳和每个像素事件的位置，产生了全新的应用可能性。变化事件已经包含了有价值的信息，可以从中获得更多重要信息。传统的固定帧频像机由于采样率恒定，无法捕捉到这些数据，或者由于输出类型的原因，在大量冗余数据中丢失了这些数据。
用于创建慢动作记录的事件数据提供了一个令人兴奋的分析选项。通过将捕捉到的像素事件累加到一个时间网格中，并从中生成完整的传感器图像，就能制作出 "曝光时间 "可变的慢动作视频。播放速度会因选择的累积时间和显示帧频而变化。它的范围从实时（每个事件一帧的超慢动作）到实际运动速度（大约每 33 毫秒一帧）再到静止图像。如果对所有记录的事件进行汇总（以时间为单位），就能看到完整的运动历史。
还可以提取速度和方向信息，对物体运动进行精确的数字分析。无需进行更复杂的图像处理。另一方面，如果在三维可视化中将一定时间范围内多个像素事件的位置和时间累加起来，结果就是运动路径的定性表示。这反过来又有助于了解物体在（时间）域中的运动方式和路径。例如，该程序可用于流动分析，对液体和气体的流动进行高精度检测。
"对于需要 1000 赫兹超高帧频的应用，例如流动可视化，使用基于图像的像机往往非常复杂和昂贵。在基于事件的像技术的帮助下，我们实现了每秒 10,000 帧甚至更高的帧率。然而，为了传输大幅减少的数据量，我们只需要标准的 PC 接口，如 USB。因此，这种创新的摄像技术对小型教学和研究机构特别有吸引力。
有关基于事件的流程可视化的更多信息，请参阅我们的应用案例：对案例研究而言，"只有变化才算数"
新数据--新处理方法
然而，为了利用这些新的传感器信息，开发人员需要找到另一种方法来处理以前基于图像的循环处理序列。当然，多个事件数据可以归纳到经典帧中，因此甚至可以像传统图像一样以恒定帧速率进行处理。然而，这种方法并不一定是最佳的，因为它没有利用数据动态的优势。例如，高时间精度可实现快速移动，一次性高效处理较少数据，这也能降低能耗。只有利用适当的功能、工具和算法，才能从事件数据中快速有效地提取和处理模式、运动、时间和结构。如今，在任何已知的（基于图像的）标准视觉框架中都找不到这一点。
不过，新传感器技术的制造商 Prophesee 和索尼公司已经开发出了相应的处理方法，并在软件开发工具包 Metavision SDK 中提供了有用的功能，以及详细的文档和大量样本。这样，用户就可以立即上手，快速利用这一创新技术的新可能性。
要操作 IDS EVS 像机 "uEye XCP-E"，只需在主机上安装 IDS HAL 插件。然后，像机就可以立即用于 Prophesee 的 Metavision SDK。立即观看操作视频：
实时高精度 - 质量保证中的 EVS？
神经形态传感器的功能还能在质量保证和改进方面发挥重要作用。特别是在要求故障检测准确、快速和高效的应用中。能够以像素大小实时记录最微小的物体和材料变化所带来的附加值在机器和流程监控等方面显而易见。由于时间分辨率高，可达到微秒级，因此即使是振动或声音信号等高频运动也可视化。通过分析可以及早发现异常模式（如磨损、故障），从而避免造成损坏或停产。
由于神经形态传感器只能感知运动或对比度，因此对光线变化的敏感度要低得多，这使得它们在光线强烈变化的条件下（如反光、阴影）远远优于传统的图像处理系统。在困难条件下进行快速故障检测、流程监控或检查时，质量保证流程只能从神经形态传感器的功能中获益。
EVS - 趋势还是必备品？
基于事件的传感器不能捕捉完整的图像，只能捕捉像素随时间的变化。不过，这些传感器可用于动态编制截然不同的可视化效果，为应用程序提供的运动信息要比仅使用传统图像传感器的像机多得多。因此，这些技术无法在竞争中发挥作用！因此，基于事件的传感器并不能全面取代传统的基于图像的相机，甚至不能取代基于人工智能的图像处理技术，而是一种补充技术。它为记录运动提供了更多新的可能性。在各种应用中，单一的传感器类型或结果数据类型是不够的。为了优化客户的要求，往往需要将不同的信息和不同的相机类别结合起来。因此，基于事件的相机是快速运动分析、工业质量保证任务、机器人技术和一般自主系统中非常有趣和有价值的组件。
IDS 的说明
"我们已经有了许多分析气体、液体和振动的具体应用实例，这项技术非常适合开始批量生产 uEye EVS 像头"。
工程师海科·塞茨自2001年起在IDS公司任职。在相机软件领域担任开发人员多年后，他现任IDS产品营销经理，负责技术传播工作。凭借其丰富经验，他架起了复杂技术与实用知识传递之间的桥梁——例如通过技术文章、网络研讨会或讲座等形式。
您的项目
我们可以为您的项目提供哪些支持？我们将一起为您找到正确的解决方案！!
时事通讯
了解最新动向，订阅我们的新闻通讯。