二、多源数据的采集与应用
在智能网联汽车中，传感器融合是融合来自多个传感器数据的过程。该步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性以及最终的安全性。
为了更好地理解上述概念，我们考虑一个简单的例子——激光雷达和相机都在看着行人：
1）如果两个传感器中的一个没有检测到行人，我们将使用另一个传感器作为冗余来增加检测到行人的机会。
2）如果两个传感器都检测到了行人，传感器融合技术将使我们更准确地知道行人的位置。
由于传感器是有噪声的，因此需要传感器融合算法来处理这些噪声，并尽可能进行最精确的估计。
在融合传感器时，我们实际上是在融合传感器数据，或者叫作数据融合。有九种方法可以构建数据融合算法，这九种方法又可以分为三大类，分别是按抽象级别的传感器融合、按中心化级别的传感器融合和按竞争级别的传感器融合。
1.按抽象级别的传感器融合
最常见的融合类型是抽象级别的。在这种情况下，问题是“应该在什么时候进行融合？”
激光雷达和摄像头的融合中描述了早期（EARLY）和后期（LATE）融合两种过程。
在业界，还有其他称呼：低级别（Low-Level）、中级别（Mid-Level）和高级别（High-Level）传感器融合。
（1）低级别融合
低级别传感器融合是融合来自多个传感器的原始数据。例如，融合来自激光雷达的点云数据和来自摄像头的像素级数据，这种类型的融合在未来几年具有很大的潜力，因为其考虑了所有数据，如图1-1所示。在此过程中使用了对象检测，但真正完成这项工作的是将3D点云投影到图像中，然后将其与像素关联起来。
图1-1 低级别融合
低级别融合几年前还很难做到，因为所需的处理量很大。每毫秒可以将数十万个点与数十万个像素融合在一起。
（2）中级别融合
中级别传感器融合是将传感器独立检测到的物体进行融合。如果摄像头检测到障碍物，雷达也检测到它，我们把这些结果融合在一起形成对障碍物的位置、类别和速度的最佳估计，如图1-2所示。通常使用的方法是卡尔曼滤波器（贝叶斯算法）。这个过程很容易理解，并且包含了几个现有的实现。它严重依赖于检测器。如果一个失败，整个融合都可能失败。卡尔曼滤波器可以解决这个问题。
图1-2 中级别融合
将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起，也可以将3D激光雷达的结果映射到2D中，并在2D影像中进行数据融合。
（3）高级别融合
高级别传感器融合是融合对象及其轨迹。我们不仅依赖于检测，还依赖于预测和跟踪。此过程高一级，其优点是简单。一个主要问题是可能会丢失太多信息。如果追踪是错误的，那么整件事都是错误的。雷达和摄像头之间按抽象级别的数据融合如图1-3所示。
图1-3 高级别融合
2.按中心化级别的传感器融合
融合算法的第二类方法是按中心化级别来区分的。该场景下的问题是“融合在哪里发生？”主计算机可以做，或者每个传感器可以做自己的检测和融合。一些方法是通过使用称为卫星架构的技术来做融合的。
有三种类型的融合：
1）中心化：一个中央单元处理融合（低级别）。
2）去中心化：每个传感器融合数据并将其转发到下一个。
3）分布式：每个传感器在本地处理数据并将其发送到下一个单元（后期融合）。
以自动驾驶汽车为例，每个传感器都有自己的计算机，所有这些计算机都连接到一个中央计算单元。
3.按竞争级别的传感器融合
对传感器融合算法进行分类的最后一种方法是按竞争级别。在抽象级别，问题是“什么时候”融合应该发生；在中心化级别，它是关于“在哪里”的；在竞争级别，问题是“融合应该做什么？”同样，有三种可能。
（1）竞争融合
竞争融合是指传感器用于相同目的。例如，当同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余，使用术语“竞争”。
（2）互补融合
互补融合是指使用不同的传感器观察不同的场景来获取我们使用其他方式无法获得的东西。例如，使用多个摄像头构建全景图时。由于这些传感器相互补充，使用术语“互补”。
（3）协同融合
协同融合是关于使用两个或更多传感器来产生一个新场景，但是是关于同一个对象的，例如，在使用2D传感器进行3D扫描或3D重建时。