使用IDS偏振相机的机上数据预处理。

及時實現偏振影像

使用IDS偏振相机的机上数据预处理。

通过对偏振光的了解,在工业图像处理中可以减少反射和高光,或增加精细结构的对比度。甚至连作用于表面以下的材料张力等物理特性也可以可视化。为了确定偏振信息,到现在为止,4个不同方向的偏振滤光片的连续图像和后续的PC处理是必要的。有了索尼的Polarsens技术,只需一次取像即可。额外的数据预处理将来自IDS偏振相机的原始数据实时转换为有用的图像格式,以便在主机中进行更有效的进一步处理或评估。

IDS偏振光相机和普通相机有什么区别?对相机中的极化信息进行预处理的可能性有哪些?为了了解这些特殊相机的应用,有必要进行简短的技术考察。

我们已经知道,光是电磁波,电磁波包含了描述光的特性的所有重要信息,我们可以看到。人眼和相机的图像传感器都可以捕捉到光的方向、强度(振幅)和颜色(波长),并将其数字化,进行图像处理。光的波长范围只是整个电磁波光谱的一小部分。

偏光

迄今为止,在图像处理中主要采用特殊照明、滤光镜和光学配件的另一个特点是波的偏振。偏振并不是描述光束本身的方向,而是描述光粒子(光子)与传播方向垂直摆动的波幅方向。非极化光波在不同的方向上振荡。白炽灯或太阳光就是例子。如果光子只向一个方向运动,我们说的是线性偏振光。特殊的偏光片可以吸收或减弱在所有平面(即其偏光轴)上振荡的入射光,从而形成近乎线性的偏光。

线性偏振滤波器的行为
光波通过线性偏振滤光片时,初始强度I0对结果强度的影响,法国物理学家Étienne Louis Malus在1808年就已经证明,并以 "Malus定律 "进行数学描述。 I = I0 . cos²(Φ)
因此,相对于偏振器的光轴而扭曲的光波一般不会被阻挡,但它们的强度会根据角度而衰减,并在滤光片的方向上偏振。线性偏振器的行为经常被误导性地描述或表示。不幸的是,上面的图形是另一个例子。

反射与极化有什么关系?

在高度反射的表面,如玻璃,光线可以被偏转。根据物体的观察角度,可能会在观察者的方向发生不必要的反射。下面以汽车为例,说明汽车车窗是如何因这种光线反射而变得不透明的。室内的物体或人就这样几乎无法辨认--变得几乎 "看不见"。

如果光的反射发生在非金属表面(如这里的玻璃),物理过程会导致光的自然偏振。这意味着可以通过使用适当的偏振滤光片来减少这种特殊的偏振光成分,从而减少眩光效应。未极化的部分光仍然可以通过滤镜。

挡风玻璃上的光反射可以通过偏振滤镜来消除

仅靠偏振滤镜是无法消除金属表面的反光的!在金属表面上,光没有偏振,只是反射。因此,尽管有偏振相机,但根据应用情况,绝对有必要在照明上安装一个额外的偏振滤光片,以抑制干扰光的反射。

使用已经偏振的光(例如通过偏振滤光片)进一步减少表面反射的产生。因此,特殊的电脑显示器(无触摸功能)都配有 "防反射 "膜。虽然光照强度随着视角变窄而降低,但不会产生反光如果你看这些显示器几乎是平行的,屏幕似乎是黑暗的!

偏振对图像处理的重要性

对于光的纯感知或数字化,无论我们面对的是偏振光还是非偏振光,都没有技术上的区别。在数字图像处理中,主要是对场景进行照明,使某些特征可见。但凡用灯光拍过照片的人都知道其中的优缺点。不需要的阴影很容易通过额外的或更强的灯光从不同方向控制。结合散光屏,可以实现更均匀的场景照明。但在与光的关系上,人们总是要与干扰性的反射和褪色作斗争,这往往使重要的特征没有被发现。如果镜像抹去了信息,例如,因为汽车司机的脸被挡风玻璃上的反光所遮挡,在图像采集后,用任何图像处理技术都无法恢复。特别是在工业图像处理中,为了尽可能地减少干扰影响,常采用漫射散射光。然而,根据不同的应用,最佳照明可能非常昂贵。

但不一定越多越好,也不一定越多越合适!在光的情况下,也可以通过有针对性地过滤干扰影响,让本质变得明显。关于偏振光的知识,它是如何产生的,如何影响它,提供了解决的方法。偏振滤镜在图像处理中用于减少反射或高光,但也用于增加对比度。它们在应力分析中也很有用,可以将表面以下的物理特性可视化。

偏振极化优势
由于光不仅具有表面偏振性,还具有机械应力或光折射等其他物理特性,因此可以使普通图像传感器无法检测到的物体特征和缺陷变得可见。

巨细靡遗

通过更多的光照或消除干扰影响,想看到的材料缺陷或物体特征不一定就能夠被看清。在下面的图片示例中,只觉得对我们来说重要的影像内容彰顯得請清楚,或者说它们的光照强度增加了。不盡然光线是由污渍和划痕的反射而产生的偏光。

利用极化程度,在玻璃检测过程中,污渍和划痕变得明显

在这里,只有通过可视化的 "偏振程度 "才能非常清晰地看到指纹和划痕,偏振光线比非偏振光线更加清晰可见。但普通的相机传感器并不能记录光的偏振情况。这意味着信息在采集过程中会丢失。可视化或甚至随后的图像处理的偏振校正不能再应用了,因为即使在RAW文件中,也不能再识别出光线是以什么角度和偏振程度拍摄的。

要计算这样的图像,就必须用数字来捕捉这个场景的光的偏振。这样就可以对已经数字化的图像进行后续处理,或者让我们看到 "看不见 "的特征。比如索尼的Polarsens技术,这种偏振的量化就非常容易实现。这意味着,如果使用我们的GV-5080CP-P(GigE Vision)或U3-3080CP-P(USB3 Vision)等相机,其中包括索尼IMX250MZR单声道Polarsens传感器,可以在一张图像中捕获偏振信息。

一张图像就足以将极化信息与图像内容一起采集。无需偏振光源或偏振滤镜等特殊配件。这得益于索尼传感器的创新设计。

索尼OnChip偏光片设计图

位于光电二极管和微透镜之间的 "四向偏振器",通过线性偏振滤光片的原理,在一幅图像中生成四个偏振方向(0°、45°、90°或135°)的传感器原始图像。对偏振滤光片的每个角度测量不同的强度。2x2簇中的四个相邻像素与其四个不同的偏振滤光片构成一个 "计算单元"。这样一来,传感器真正的500万像素被分成了4个较小的图像,每个图像为一个偏振角度,但它们的图像内容反映的是同一个时刻。这意味着,相机拥有计算偏振信息的最佳输出数据--而且每次拍摄都是如此。

四幅单幅图像的分辨率和亮度都有所降低,有1.26MP,在下面的边界区域的偏振测定过程中,会导致结果值的强噪声。因此,在拍摄图像时,一定要有合适的、充足的照明。

摄像机上的偏振

摄像机中偏振信息的成分选择和数据预处理。
摄像机中偏振信息的成分选择和数据预处理。

工业相机为数字处理提供图像素材。尽管图像传感器的原始格式为后续的图像处理提供了最多的可能性,但它并不适合直接的视觉检查,例如。通过预处理,可以直接计算出重要的、经常需要的结果。它还可以节省时间和PC计算负荷。因此,结合索尼Polarsens技术,除了传感器原始格式外,还可以提供其他有用的图像格式,为PC上的图像处理提供最佳输出数据。

从相机固件2.4版本开始,uEye CP偏振相机能够通过像素预处理,利用 "四向偏振器 "的原始图像数据,独立确定单次图像采集的偏振光方向和程度。这使得新的图像信息可以通过偏振数据计算和可视化,例如,使对比度可见。通过预定义的、可选择的图像组件,用户可以,例如,直接从传感器的原始数据中过滤掉干扰性的光线反射,或者在图像传输到PC之前,就使反射物体的特征在几乎完全黑暗的环境中可见--只需点击一下。

优势 "相机数据预处理"
  - 它是如此简单  - 简化了图像处理工程师的工作,他们已经从相机中接收到了进一步处理的最佳数据。
  - 高效  -节省PC资源。摄像机和PC有效地共享工作。
  - 符合视觉要求   - 来自摄像机的结果数据可用于任何标准视觉应用程序,而无需额外或特殊软件。

特定应用的图像格式

对于最重要的应用,提供8种图像格式供选择,这些格式在相机的FPGA中实时计算。

Raw
图像格式:8位单声道,2448 x 2048像素(全传感器分辨率)。
在原始模式下,相机将未经预处理的传感器数据以8位灰度图像的形式,以全5MPixel的分辨率提供给用户。通过不同偏振像素滤光片的强度值,可以确定线性偏振光的角度和偏振程度。因此,原始数据格式是客户应用中基于PC的自有评估和计算的基础。

Intensity
图像格式:8位单声道,1216 x 1024像素(传感器分辨率的1/4)。
"强度 "对应于通过 "四方向偏振镜 "后的四个偏振方向为0°、45°、90°或135°的四个测量光强的平均值(m)。其计算公式为:m=(I_0°+I_45°+I_90°+I_135°) / 4。
图像格式表示的是没有光的偏振信息的亮度。因此,它与普通单声道图像传感器捕捉到的强度值最为接近。

IntensityNonPolarized
图像格式:8位单声道,1216 x 1024像素(传感器分辨率的1/4)。
这个强度值(I_min)只对应于图像中未偏振光的比例。光的偏振部分用I_min = m * (1 - DoP)计算。通过这种图像格式,已经有效减少了光的反射。

IntensityOnlyPolarized
图像格式:8位单声道,1216 x 1024像素(传感器分辨率的1/4)。
这个灰值图像(I_amp)只包含光的偏振部分。它的计算方法是I_amp = I_max - I_min 。没有偏振光存在的区域会变得更暗。当前各个像素的亮度完全融入到图像中。曝光变化会影响显示。这区别于偏振度(DoP)模式,因为这里输出的是绝对值而不是相对部分。

DegreeOfPolarization (DoP)
图像格式:8位单声道,1216 x 1024像素(传感器分辨率的1/4)。
偏振程度表示偏振光占总强度的百分比。由于相对值的关系,只要不发生剪裁,DoP计算只受曝光变化的轻微影响。

  • 极化程度越高,确定的角度越好,越适合后续的计算和分析。
  • 如果DoP值太低,偏振信息就会变成无用的分析。图像信息中存在大量的噪声。

在偏振光的应用中,DoP是一个重要的结果质量值,或者是一个很好的衡量标准,用于确定场景的正确照明条件。

PolarizationAngle
图像格式:8位单声道,1216 x 1024像素(传感器分辨率的1/4)。
该图像模式以灰度图像的形式显示所有计算出的偏振角(每个 "四方偏振片 "2x2像素的1个角度)。角度是在内部进行缩放的,因此它们的输出范围是0-180°。因此不会出现负的输出值。

在偏振光很少的地区,由于 "四方偏振器 "的角度信息无法被噪声提取干净,所以角度结果差异很大。往往意味着无法进行稳定的角度计算。

当在应用中使用计算出的偏振角时,建议事先用偏振度(DoP)进行鉴定

角度和偏振度信息的组合

使用HSV色彩空间,摄像机可以生成具有多个信息的组合图像格式。例如,通过联系图像中的角度和偏振程度,可以特别好地解释结果。这样一来,也就形成了假色显示,也就实现了关系的可视化。

特别是当角度信息不能被噪声提取干净的时候,因为极少有偏振光,其结果对于进一步的处理大多是无用的。在这种情况下,组合格式除了提供角度值外,还提供了在同一图像中进行验证的措施!

IDSHeatMap
图像格式:24位RGB,1216 x 1024像素(传感器分辨率的1/4),基于HSV(H=角度,V=DoP,S=100%)。
在这种组合格式中,确定的偏振角与偏振度相结合。所得图像的亮度是由DoP缩放的。因此,暗区显示角度信息不可靠,因为偏振分量很低,因此角度计算可能不准确。而对于明亮区域,偏振分量非常大,角度可以可靠地确定。

IDSColorMap
图像格式:24位RGB,1216 x 1024像素(传感器分辨率的1/4),基于HSV(H=角度,V=abs(单声道-DoP),S=DoP)。
在这种组合形式中,确定的偏振角也与偏振程度有关。然而,这里的实际灰度值图像被包含在计算中。这里的亮度对应的是灰度图像和DoP之间的差异量。由于单声道图像区域明亮以及高DoP,使得图像整体更加明亮。只有既没有亮度信息也没有高DoP信息的区域才会变成暗色或黑色。另外DoP作为饱和度。因此,强烈的色彩表明图像区域内偏振光的比例很高。

IDSColorMap可视化
IDSColorMap可视化

通过IDS Vision Cockpit进行配置

IDS偏振相机的图像格式可以通过任何兼容GenICam的软件进行设置和使用。我们在IDS Vision Cockpit的帮助下解释摄像机参数的配置,您可以通过我们的软件开发包IDS peak进行安装。图像格式可以在ImageFormatControl节点中作为可单独选择的图像组件找到。如果您打开的是固件2.4的相机,您可以在搜索栏中输入例如 "组件 "来查找设置。

您可以通过IDS Vision Cockpit激活各个图像格式,具体如下。

  • 禁用图像采集
  • 使用 "组件选择器 "选择所需的图像格式。
  • 用 "组件启用 "激活图像格式。
  • 重新开始图像采集

相机会自动切换到所需的图像格式(如 "8 位单声道 "或 "24 位 RGB")。

IDS Vision Cockpit中偏振格式的选择
IDS Vision Cockpit中偏振格式的选择

利用 IDS peak进行编程

要在你自己的应用程序中使用新的图像格式,只需要几行源代码。下面的源码块显示了在编程语言C#中用IDS peak 对图像格式进行编程。

检索所有可用的图像组件

var imageComponentsNode = nodeMapRemoteDevice.FindNode<peak.core.nodes.EnumerationNode>("ComponentSelector");
var availableImageComponents = imageComponentsNode.Entries();
foreach (var entry in availableImageComponents)
{
    display(entry.StringValue());
}

查询当前活动的图像组件

var activeImageComponent = "";
foreach (var entry in availableImageComponents)
{
    imageComponentsNode.SetCurrentEntry(entry);
    if (nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").Value() == true)
    {
       activeImageComponent = entry.StringValue();
    }
}
display(activeImageComponent);

选择并激活一个图像组件

imageComponentsNode.SetCurrentEntry("IDSHeatMap");
nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").SetValue(true);

总结

偏振是光的一种属性,可以识别人眼看不到的物体属性,也是 "正常 "的图像传感器。这使得它在反射或半透明表面的应用中成为数字图像处理的重要工具。通过SONY IMX250MZR传感器和机载像素预处理,IDS偏振相机能够通过一次图像采集确定图像场景的所有必要的偏振信息,并将这些信息以不同的像素格式提供给上位机作进一步处理或直接评估。

FPGA加速算法使相机不仅仅是提供传感器数據。实时,它们已经提供了有意义的评估,可以通过GigE或USB3视觉接口被任何符合GenICam的应用进一步使用。因此,IDS偏振相机成为图像处理的一部分,减少了主机的计算负荷。

亲自测试一下,在图像传输到PC之前,只需点击一下,就能让对象属性可见。