2.2 视觉传感器
视觉传感器主要用摄像头代替人眼，对目标（车辆、行人、交通标志）进行检测、跟踪和识别，感知车辆周边的障碍物和可行驶区域，理解交通标志和道路地面标线的语义，从而对当前的驾驶场景进行理解。相对于其他传感器，摄像头的价格相对低廉，并且拥有识别车道线、交通信号灯、行人、车辆等目标物体的基本功能，摄像头在汽车的ADAS（Advanced Driving Assistant System，高级驾驶辅助系统）市场已经被大规模应用。
视觉传感器的主要参数包括：像素、帧率、靶面尺寸、感光度、信噪比和电子快门等。
（1）像素：图像传感器上有许多感光单元，可以将光线转换成电荷，从而形成与景物对应的电子图像。而在传感器中，每一个感光单元都对应一个像素点。单位面积内的像素点越多，代表能够检测到的物体细节越丰富，图像也就越清晰。
（2）帧率：代表单位时间所记录或者播放的图片数量。连续播放一系列的图片就会产生动画效果，根据人的视觉系统，当播放图片速度大于15帧/秒的时候，人眼就基本看不出图片的跳跃；当达到24～30帧/秒的时候，人眼就已经觉察不到闪烁的现象。每秒的帧数或者说帧率，表示的是图形传感器在处理场景时每秒能够更新的次数。帧率越高，视觉体验就会越流畅、越逼真。
（3）靶面尺寸：代表图像传感器感光部分的大小，一般用英寸（1英寸=0.0254米）来表示其单位。通常这个数据指图像传感器的对角线长度，如常见的有1/3英寸，靶面尺寸越大意味着通光量越大，靶面尺寸越小则容易获得更大的景深。
（4）感光度：代表通过CCD（Charge Coupled Device，电荷耦合器件）或CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）以及相关的电子线路感应入射光线的强弱。感光度越高，感光面对光的敏感度就越高，快门速度就越快，在拍摄运动车辆和进行夜间监控的时候，感光度显得尤其重要。
（5）信噪比：指信号电压与噪声电压的比值，单位为分贝（dB）。一般摄像机给出的信噪比均是自动增益控制（Automatic Gain Control，AGC）关闭时的值，因为当AGC接通时，会对小信号进行提升，使得噪声电平也相应提高。信噪比的典型值为45～55 dB，若信噪比为50 dB则图像有少量噪声，但图像质量良好；若信噪比为60 dB则图像质量优良。信噪比越大，说明对噪声控制得越好。
（6）电子快门：用来控制图像传感器的感光时间。由于图像传感器的感光值就是信号电荷的积累，感光时间越长，信号电荷积累时间也就越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，越适合在强光下拍摄。
在硬件方面，计算机视觉所需的工业摄像头在技术层面相对成熟，具有较高的图像稳定性、传输能力和抗干扰能力，且单个摄像头成本已降到200元以下，因此一辆智能驾驶汽车上可以配备6～8个摄像头，从而覆盖不同角度。
工业摄像头又称工业相机，其按照芯片类型可以分为CCD相机和CMOS相机；按照传感器的结构特性可以分为线阵相机和面阵相机；按照扫描方式可以分为隔行扫描相机和逐行扫描相机；按照分辨率大小可以分为普通分辨率相机和高分辨率相机；按照输出信号速度可以分为普通速度相机和高速相机；按照响应频率范围可以分为可见光（普通）相机、红外相机和紫外相机等。
CCD相机是目前视觉传感器中最常用的图像传感器，它集光电转换及电荷存储、电荷转移、信号读取于一体，是典型的固体成像器件。CCD的突出特点是以电荷为信号，通过光电转换形成电荷包，然后在脉冲驱动的作用下转移、放大输出图像信号。典型的CCD相机由光学镜头、时序及同步信号发生器、垂直驱动器、模/数信号处理电路组成，一般可分为线阵CCD相机和面阵CCD相机两种。
CMOS相机是使用CMOS感光芯片作为图像传感器的相机，它将光敏元件阵列、图像信号放大器、信号读取电路、模/数转换电路、图像信号处理器，以及控制器集成在一块芯片上，同时还具有局部像素编程随机访问的优点。CMOS图像传感器以其良好的集成性、低功耗、高速传输和宽动态范围等特点在高分辨率和高速场合中得到了广泛的应用。CCD相机与CMOS相机图像传感器的对比如表2-2所示。
视觉传感器一般具有比较明显的几个缺点：一是在逆光或光线复杂的地方，视觉传感器检测识别效果较差；二是视觉传感器较大程度地依赖于训练样本，能否辨别出物体类别完全依赖于样本的训练，样本未覆盖的物体类别将无法辨别；三是视觉传感器对行人的识别结果具有不稳定性，因为行人的动作、服装、身体各部分变化要素很多，而且还要将行人与驾驶环境中的建筑、汽车、树木等背景图案区分开来。例如，Mobileye公司在日本、德国、美国、以色列等国家的城市所进行的一系列道路测试结果显示，视觉传感器对行人的检测成功率为93.5%，距离实现完全无人驾驶还有很大差距；再如，对于穿着吉祥物套装或是所穿衣服颜色与背景相似的人，或搬运东西的人，有可能无法被视觉传感器识别。
表2-2 CCD相机与CMOS相机的图像传感器的对比
