1.1 视觉传感器与视觉系统

随着视觉传感器及计算机技术的飞速发展，机器视觉在三维测量、三维物体重建、物体识别、机器导航、视觉监控、工业检测、生物医学等诸多领域[1-3]得到了越来越广泛的应用。

1.1.1 视觉传感器的定义及分类

视觉传感器在传统意义上来讲就是相机，相机是一种利用光学成像原理形成影像并记录影像的设备。按照此定义来说，视觉传感器仅仅是一个用来摄影的工具。后来随着科学的进步，人们在相机里面又加上了集成化的算法，也就是处理单元，就变成了人们常说的智能相机，但从传统意义上来说，智能相机已经不算是视觉传感器了，把智能相机看作是一个视觉系统更为科学。

视觉传感器的种类繁多且特点鲜明。下面我们从不同的角度对视觉传感器进行分类。

1. 传统视觉传感器的分类

按照成像的基本原理以及工作维数不同，传统视觉传感器有线阵相机和面阵相机两种。

线阵相机的像素以一条线排列，每次得到的图像呈现一条线，虽然也是二维图像，但是长度很长，可以达到几千像素，但是宽度却只有几个像素。使用这种相机通常有两种情况：一是被检测视野为细长的带状，如在滚筒上检测故障；二是需要很宽的视野和很高的精准度时。线阵相机的优点就是可以做很多一维像元数，而且总像元数也比面阵相机少，像元尺寸比较灵活，帧幅数高，特别适用于一维动态目标的测量。

面阵相机的像素排列为一个相对四四方方的面状，一次可以获取整幅二维图像。面阵相机可以方便读取更多的信息，包括测量面积、形状、尺寸、位置，甚至温度。这种相机可以快速准确地获取二维图像信息，而且是非常直观的测量图像，但缺点是具备太多的像元总数，而且每行的像元数都比线阵少，帧幅率也受到了限制。简单来说，线阵相机与面阵相机的不同主要是感光元件的工作原理不同，二者的比较如表1.1所示。

前面提到，传统的视觉传感器就是相机，相机的种类有CCD相机、CMOS相机、双目相机、全景相机、3D相机等。这些相机的种类和前文所说的线阵相机和面阵相机并不冲突。例如，比较常见的CCD相机，它既有线阵CCD相机也有面阵CCD相机。之所以在这里提到这些相机，是想要读者了解一些现在常用的摄影工具的特点及用途。下面就简单介绍一下这些相机。

（1）CCD相机

20世纪70年代，贝尔实验室成功研制出一种基于电耦合器件（charge-coupled device，CCD）的传感器，可以说CCD是一种采用大规模集成电路工艺制作的半导体光电元件，CCD相机就是应用了这种光电元件的相机。CCD相机具有分辨率高、噪声小、能耗低、体积小等优良特性，在工业中很快得到广泛应用。

（2）CMOS相机

CMOS相机的感光元件是互补金属氧化物半导体（complementary metal oxide semiconductor，CMOS），它本是计算机系统内的一种重要芯片，保存了系统引导的最基本资料，和CCD一样同为在相机中可记录光线变化的半导体。CMOS相机摄影时不需要复杂的处理过程，可直接将图像半导体产生的电子转变成电压信号，因此成像速度非常快。

（3）双目相机

双目相机用两部相机来对物体进行定位，如图1.1所示。对物体上一个特征点，用两部固定于不同位置的相机来拍摄，可分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在一部固定相机的坐标系中的坐标，即确定了特征点的位置。在双目定位过程中，两部相机在同一平面上，并且光轴互相平行，就像是人的两只眼睛一样，所以叫双目相机。双目相机常用于收集深度数据。

（4）全景相机

全景相机（见图1.2）是相机光轴在垂直航线方向上从一侧到另一侧扫描时做广角摄影的相机，可达到360°无死角拍摄，常用于虚拟现实。

（5）3D相机

3D相机又称为深度相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，这也是其与普通摄像头的最大区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。通过图像的语义分析可以判断哪些物体离我们比较远，哪些比较近，但是并没有确切的数据。而3D相机则恰恰解决了该问题，通过3D相机获取到的数据，我们能准确知道图像中每个点离摄像头距离，这样加上该点在2D图像中的坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。

2. 从成像特点上分类

按照成像的颜色不同，视觉传感器又可以分为彩色相机、黑白相机、红外相机等。

我们使用的相机，不论是以CMOS还是CCD作为感光元件，都只能采集到黑白的图像，想让相机能拍摄出彩色的图像，最常见的方法有下面两种：

（1）单色相机结合特定颜色滤镜合成彩色；

（2）采用拜耳透镜阵列一次性合成彩色。

彩色相机，又称为OSC（One Shot Color）相机，它一次曝光就获得彩色照片。为了实现这样的功能，相机厂商在感光元件上集成一个拜耳透镜阵列，即在一个2×2的像素矩阵内，让2个像素采集绿光，1个采集蓝光，1个采集红光，随后进行插值运算，就可以生成彩色图像了，这一步骤一般在相机内部直接进行，市场上的数码相机都是按照这样的方法来让我们可以所拍即所得。

红外相机就是感光部分可以接收红外辐射传递的信号。所谓红外线，就是在光谱中，可见光的红光以外的部分，具有光的特征，却不为人的目光所见，所以叫红外线。人眼看不到，但是红外相机却可以捕捉到这些光线，所以即便是在光照条件不好的情况下，红外相机也能拍到目标物。

3. 广义上的视觉传感器

我们认为传统意义上的视觉传感器是相机，但是从广义上来说，即采集目标物的信息的角度上来说，激光雷达也算是一种视觉传感器，激光雷达所采集的点云数据包含了丰富的目标物信息，如三维坐标、颜色、激光反射强度等。

1.1.2 视觉系统

如图1.3所示，视觉系统一般由光源系统、视觉传感器、图像采集系统、图像处理系统以及控制系统等模块组成。光源为视觉系统提供足够的照度，镜头将被测场景中的目标成像到视觉传感器即摄像器件的像平面上，并转变为全电视信号。图像采集系统负责将全电视信号转变为数字图像，即把每一点的亮度转变为灰度级数据，并存储为一幅或多幅图像。图像处理系统负责对图像进行处理、分析、判断和识别，最终给出测量结果。

控制系统作为整个视觉系统的核心，它不仅要控制整个系统的各个模块的正常运行，还承担着视觉系统最后结果的运算和输出。