基于数字条纹投影的在线深度获取技术
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.2 国内外主要光学深度获取技术

通过光学手段实现z方向深度信息获取的方法也称为光学深度获取技术,它的发展归功于计算机设备、光电成像设备及数字投影设备的不断涌现。由于具有非接触、高速、高精度、获取技术处理数据信息量大、易于实现计算机自动化控制等优点,光学深度获取技术在生物医学、工业检测、反求工程、文物复制、人体识别、国防安全等领域存在巨大的应用前景[9~14]。根据照明方式的不同,光学深度获取可分为被动获取和主动获取两大类。

被动深度获取技术无须结构光照明,从一个或多个摄像系统获取的二维图像中提取被测物体的深度信息[19,20]。此方法的测量依据在于分析图像的明暗、纹理等信息,通过相关或匹配运算从不同的图像中找出对应点,进而确定距离信息,获得物体的深度信息,故也被称为数字图像相关(Digital Image Correlation,DIC)方法[21],其中,比较常用的技术有立体视觉(StereoVision)[22]、阴影恢复形状法(Shape from Shading)[23,24]、摄影测量(Photogrammetry)等[25]。这类方法的硬件结构简单,在无法使用结构光照明的环境下更具独特的优势[26,27]。同时也存在一些缺点,如从二维图像中确定深度信息时,主要依赖于人们对物体的形态、光照条件等先验知识,如果这些知识欠缺,将造成深度的计算误差;图片过于复杂或简单,以及被重建物体表面反射率等因素,都会给计算引入误差,影响深度获取精度。

主动深度获取技术借助投影装置向被测物体表面投射各类结构光,摄像机记录由被测物体深度信息对结构光场的空间或时间调制引起的光场变形,通过分析、处理变形光场像解调出物体的深度信息[28]。这种方法的可靠性较高,重建精度也较高,在深度获取领域得到了广泛的应用。根据被测物体深度信息对结构光照明光场调制方式的不同,主动深度获取技术可分为时间调制和空间调制。基于时间调制的深度获取技术以飞行时间法为代表[29~31]。基于空间调制的深度获取技术以三角测量为基础,根据照明方式的不同,可分为点结构光照明、线结构光照明、面结构光照明三种方式[32~37]。代表方法比较多,包括激光三角法[33]、莫尔轮廓术[38~41]、傅里叶变换轮廓术[42~61]、相位测量轮廓术[62~68]、空间载波相移法[69~77]和调制度测量轮廓术等[78,79]

飞行时间法(Time of Flight,TOF) 深度获取系统由发射器、接收器和时间间隔测试单元三部分组成,利用光在空气(或某一介质)中的传播速度为定值的原理来实现深度获取,飞行时间法原理如图1-2所示。一个激光脉冲信号从发射器发出后照射到被测物体表面,经被物体表面漫反射后沿几乎相同的路径返回到接收器,时间间隔测试单元检测出脉冲从发出到接收之间的时间间隔Δt,即可计算出深度信息Z。采用附加扫描装置使激光光束扫描整个物面即可得到待测物体的深度信息分布[29]。这种方法可以避免以三角测量为依据的深度获取方法中遇到的阴影和遮挡问题,且不涉及图像处理过程,有很广泛的应用前景。由于该方法的关键技术是如何精确检测脉冲的往返时间间隔Δt,对时间间隔测试单元的分辨率要求极高,给技术的实现带来了很大的困难。

图1-2 飞行时间法原理图

基于飞行时间法发展起来的三维电视摄像技术越来越受到人们的关注,并成为各娱乐行业摄像头生产商研究的热点。它将红外线投射到物体表面,摄像机快门感应物体深度对光波的调制时间,并将时间信息转化为灰度阶距离影像,通过分析影像强度的变化来获得物体表面各点距观察点的深度[30,31]。该方法对信号处理系统的时间间隔测试单元有极高的要求,目前还不能实现较高的深度分辨率,但由于具有较大的深度测量范围,常应用于大纵深的深度获取。

激光三角法 以传统三角测量法为基础,待测物体的深度信息对激光光束产生空间调制,改变了反射光束的角度,这样就改变了反射光束在探测器阵列上成像的位置[32]。根据成像光点的位置,由物三角和像三角的相似关系及检测系统光路的几何参数,算出待测物体表面各点的深度。三角测量法原理如图1-3所示。

图1-3 三角测量法原理图

莫尔轮廓术(Moire Profilometry) 其基本原理是利用一块基准光栅来检测受物体深度调制的像栅,由观察到的莫尔图样绘制等高线来推断物体的表面轮廓[38,39]。具体可分为光栅照射法和光栅投影法:光栅照射法将基准光栅置于被测物附近,光透过光栅照射到被测物表面,受物体表面深度调制,光栅像在物体表面发生变形,经物体表面漫反射后,变形光栅像再经过基准光栅,在观察点就可以获取包含物体表面各点深度信息的莫尔等高条纹,解码莫尔等高条纹即可得到物体的深度信息分布。光栅投影法通过投影装置将计算机生成的虚拟光栅像投射到被测物体表面,由成像设备采集变形光栅像和虚拟光栅像叠加形成的莫尔等高条纹来计算物体的深度信息分布。投影法具有装置简单、全场深度获取、深度获取速度快、视场范围大等特点。引入移相技术的莫尔法称为相移莫尔轮廓术,解决了传统莫尔法只能测量整数级相位的缺点,大大提高了莫尔法的深度重建精度[40,41]

傅里叶变换轮廓术(Fourier Transform Profilometry,FTP) 其深度获取机理与傅里叶变换法分析激光干涉条纹图相位相同。深度重建时通过照明罗奇光栅或正弦光栅产生条纹图,投射到待测物体表面后形成受物体表面深度调制的变形条纹图,该变形条纹图跟激光干涉条纹图一样携带物体的深度信息,经过傅里叶变换、频域滤波、逆变换等一系列操作,即可从变形条纹图中提取出相位信息,从而获得物体的深度信息分布[42]。由于涉及频域滤波、频谱混叠和频谱泄漏限制了其最大深度获取范围和深度重建精度。由于只需要一帧变形条纹图即可提取相位信息,在图像采集中具有实时、快速的优势,FTP常被用于动态监测或在线检测,一直是研究的热点[43~53]

四川大学三维光电技术研究所一直致力于将FTP应用于动态三维重建的研究并取得了一定的成就,代表性成果如下:成功重建人在慢速呼吸时,胸腔的起伏变换过程[54];将FTP的方法引入流体力学领域,重建和再现旋涡从生成到加深的过程[55];采用π相移技术将FTP的深度重建范围扩大3倍[56~60];提出复合光傅里叶变换轮廓术;等等[61]

相位测量轮廓术(Phase Measuring Profilometry,PMP) 由激光干涉计量发展而来,又称为相移测量轮廓术(Phase Shifting Profilometry,PSP)[62,63],通过多帧相移变形条纹图,采用点对点计算的方式来求解相位值,从而获得物体的深度信息分布。其深度重建机理与相移干涉术(Phase-Shift Interferometroy,PSI)相同[64,65]。深度获取时通过照射正弦条纹形成结构光场投射到被测物体表面,同时借助相移装置,使正弦条纹的相位不断发生变化,CCD同步采集不同时刻不同相位的变形条纹图来计算相位分布。该方法的优点在于点对点计算相位的方式抗噪能力强,不受物体反射率不均匀的影响,且某一点相位计算的错误不会影响其他点的相位,是目前深度获取方法中精度最可观的一种方法。但多帧获取的方式限制了该方法的实时性,在投影速度和采集速度不高的情况下,只能用于静态深度获取。

数字投影设备的不断涌现,替代了传统物理光栅的投影方式。数字条纹投影法不仅使相移量得到严格控制,同时提高了投影速度;计算机并行处理速度的不断提高,给 PMP 应用于实时深度获取注入了新的活力。2006年美国哈佛大学数学系提出基于PMP的实时深度获取系统,该系统可以在一台普通的计算机上以40帧/秒的速度实时获取、重建、再现分辨率为523×500像素图像的深度重建结果[66];同年,他们又提出了绝对坐标重建系统,可用于变化缓慢运动物体的三维重建,如实时再现人在笑的过程中脸部表情的变化[67];此后,他们又提出了基于改进的“2+1”算法的高速深度获取系统,实现了深度获取和纹理映射的同步进行,可以用普通计算机以60帧/秒的速度实现对分辨率为640×480像素图像的实时深度获取及重建结果的再现[68]

空间载波相移法(Spatial-carrier phase-shifting,SCPS) 该法也是由激光干涉计量发展而来的,其特点是采用相移算法从单帧干涉图中计算相位信息。它与时域相移干涉术的区别在于空间载波相移法用同一时刻不同位置获得的相移干涉图计算相位分布[69],而时域相移干涉术由同一空间位置不同时刻获得的多帧相移干涉图计算相位分布。在激光干涉计量中常用的实现空间相移的方法有两种:使用偏振分光器件得到相位差为π/2的干涉图;倾斜参考镜引入一个空间载波量,使获得的干涉图中相邻点的相位差为π/2,从中抽取四帧相位差为π/2的子干涉图[70~75]。这种方法被引入到宏观深度获取时,同样采用结构光照明的方式,投影正弦条纹图于被测物体表面,采集与干涉条纹图类似的变形条纹图,从该正弦条纹图中抽取子相移条纹图来计算相位信息,从而获得物体的深度信息分布[76,77]。这种方法结合了时域相移干涉术和傅里叶变换轮廓术的优点,实时性好且相位计算精度可观,可用于动态深度获取。

调制度测量轮廓术(Modulation Measurement Profilometry,MMP) 其深度获取原理不同于传统三角法,传统三角法多采用投影方向和探测方向成一定夹角获得变形条纹图来计算相位分布的原理,而调制度测量轮廓术采用投影方向和探测方向一致的系统光路,通过计算经物体表面反射的条纹图的调制度灰度分布来确定物体的深度信息分布。深度获取的基本依据在于:待测物体放置在投影光栅的成像面附近,位于投影光栅成像面上的物点在CCD成像面上对应像素点的调制度值达到最大,投影光栅成像面前后的物点在CCD成像面上对应像素点的调制度值会变小[78,79]。深度获取过程中需要不断移动投影装置,在保持探测器和被测物体位置不变的条件下,使光栅成像面扫描物体表面上所有的点,通过比较物体深度范围内调制度的灰度值来确定物体表面各点的深度。这种方法可以解决物体表面沟壑较深,传统三角法无法解决的“阴影”问题,但调制度对物体表面反射率较为敏感,对于物体表面反射率较低的区域,重建精度会明显下降。