Ensenso 立体视觉方法 | 三角测量 | 3D 点云

Stereo Vision(立体视觉)

Ensenso Stereo Vision相机能够模拟人类视觉。两台相机从两个不同的位置获取同一场景的图像。

两台相机在不同的位置拍摄同样的场景。虽然两台相机同时拍摄一样的场景，但两台相机的投影射线的位置以及角度上有差异(相机的相对位置)。特殊的配对演算法将两台相机所拍摄的影像做匹对，寻找出影像中的对应接点，并在视差图(Disparity Map)中将所有位移点显示出来。

如果知道两台相机之间的距离，以及相机的视角再加上镜头的焦距，Ensenso的软件使用三角测量原理以长度为单位转换这些差距。所有作为3D影像的像素位置都可以被确定。我们称为3D点云图，也是往后的3D物体讯息应用的基础应用原理。

了解Ensenso立体视觉更多资讯

在图像比对中的匹配过程是透过，传感器的像素对比-以及亮度梯度。所以立体视觉的视觉品质会受到场景的光源品质以及物体的表面材质影响。在缺少表面纹理或是反光的物体表面，寻找以及计算出协调的对应点相当困难。如果无法準确的确定差距，会造成不完整的图像深度数据。

Ensenso相机通过额外的图案投影，实现了更高质量的深度信息与更准确的测量结果，改良了经典Stereo Vision原理。Stereo Vision因此可以运用到更广泛的应用场景中。

Pattern Projector(圖案投影)

高能量的投影器即使在不良的采光条件下也能透果使用掩模版将纹理投影在物体表面上增加高对比的纹理。投影的图案光可以补强微弱的物体表面纹理或是没有在没有纹理的表面上投射纹理。

因此这个原理也被称为“纹理投影立体视觉”。可以得到更详细的视差图以及更完整更均匀地及场景深度数据。

FlexView

FlexView technology可以在静态场景的条件下加强视差图细节。 Pattern mask(掩模版)在投影射线中的位置可以通过使用piezoelectric actuator (电压制动器) 的机械系统转换成步进移动，形成物体表现上的纹理变化。获取复数具有不同纹理的的相同场景的影像可以产生更多的图像点。加强了分辨率，匹配演算法用所有捕获的图像来计算从而获得增强的视差图。

连续纹理位移可以在具有光泽，灰暗以及反光的表面上生产额外的结构纹理，进而加强分辨率(精度)以及获得更多的数据信息。更高的分辨率以及低噪音可以加强多数的处里演算法。FlexView 降低了后处理点云图的步骤以及更进一步的3D影像处里时间。

借助FlexView采集图像，可提供质检等应用中所需的细节信息，例如：测量任务或轮齿计数。

在不使用FlexView的情况下，图像采集速率较高，适用于料箱取件、考勤等应用。

比较 FlexView1, 2 以及单张图像的数据

Ensenso立体视觉相机可以选择是否装配FlexView technology。所有的立体视觉解决方案都经过优化并且被特定的应用所采用。但其中被观测的物体是否对移动则扮演著关键性的影响。

没有使用FlexView 或是使用FlexView1 技术的立体视觉相机可以借由使用随机投点的模式产生高对比度的纹理。即使只有一组匹配图像也可以快速的计算深度信息。这两种相机型号都可适用于移动物体的应用。

FlexView1相机用于静态物体时演算发可以得到更好的效果，透过组合多组结合投影点纹理的图像得到更好的分辨率。只需要3至5对图像组合， X-, Y- 以及 Z-resolution 可以获得倍数增加。但是随着每多出一组图像，影像撷取时间跟运算处理的要求也会增加。但在FlexView1 技术下，8组以上的配对图则达到极限，增加更多的图组将不会获得更好的效果。

采用FlexView2 技术的Ensenso系列，使用特殊设计的图案掩模加以配合适当的演算法将X-, Y- 跟 Z-轴的精度加倍。(同样也是适用于静态物体。)

限制:由于特殊的图样，优化范围仅止于五组图的匹配。 (超过将不会有任何的优化效果)

没有使用FlexView的相机采用随机点图投影，对于单一拍摄的数据有具有优化的效果

FlexView 2 模式中的亮度梯度透过使用至少五组配对图像所计算出来的深度信息支持演算法的运算。但是这些亮度梯度降低了图案在单次拍摄数据中的效果

不使用 Flexiew

(Single-Shot-Data)

适合需要速度的应用内容以及移动的物体应用

撷取影像耗时少，并且只需要处理一组对图

可应用于移动的物体跟静态的物体

投影的图样被设计为最适合应用在单一抓图的数據(single shot data)

FlexView1 與 FlexView2

(in Multi-Acquisition Mode)

适用于静态物体以及需要更高精度(分辨率)的应用

在静态场景时可以加强精度(分辨率)以及深度信息的品质

更精细的细节以及轮廓

加強对于黑暗，反光，缺少纹理的表面信息擷取

只适合静态物体

需要更长的影像撷取以及处理时间

嵌入式3D视觉功能

全新Ensenso XR系列相机提供的集成数据处理功能完美支持FlexView 2技术（尤其在静态场景中），可处理多达16组图像对。计算密集型任务可全部在支持硬件加速的Ensenso立体视觉相机上处理。无需等待网络传输，即可无缝衔接图像采集和处理。通过将FlexView 2技术和相机FPGA中立体处理的高度并行特点相结合，Ensenso系列相机能够以高帧率生成静态物体的高分辨率点云。所生成的3D数据质量会随着图像分辨率和每个图像对提高。因为无需再将数据传输至主机，所以不会出现额外的时延。

了解更多有关嵌入式3D视觉功能及优势的资讯

了解更多Ensenso 3D 立体视觉的应用