第1章
计算摄像学概述

1.1 计算摄像学研究范畴

1.1.1 研究背景

相机在现代人的日常生活中扮演着重要的角色，为人们记录下了无数有意义的瞬间。从诞生的那一天起，相机的进化就从未止步。进入数码时代，“所见即所得”的拍照成为可能，伴随着数码设备性能的不断提升，相机拥有了越来越多的像素、越来越小的体积和越来越快的速度等日渐强大的摄像功能。在智能时代，人们对相机的易用性有了新的需求。对于多数非专业用户而言，如何使手机等便携设备尽可能专业地呈现给普通用户丰富的光影捕捉与重现体验就显得尤为重要。除了可以随时随地拍照和分享等便利性的优势之外，近年来手机成为众多用户拍照首选设备的重要原因得益于其拍摄的照片和视频的质量已经满足了多数日常生活场景中对于影像记录与保存的需求。长焦、微距、夜景、全景和高动态范围等原本需要专业设备和技能的拍摄方式，当下的普通用户使用手机就可以在很多场景中获得令自己满意的体验。除了光学系统、集成电路等技术进步带来的传感器件本身的性能提升之外，促成这一变革的另一项重要技术，便是计算摄像（Computational Photography）^[1]。

图1-1为某手机广告中对于计算摄像（影）技术的介绍，图1-1（第一行）展示了当前智能手机为了提升拍摄质量所研发的一系列计算摄像技术：潜望镜式的摄像头可以在小巧的机身内进行一定倍率的光学变焦进而配合超分辨率算法实现长焦摄像，多光谱色温传感器可以更准确地对环境光的色温进行感知以实现更精准的自动白平衡，飞行时间（Time of Flight，TOF）传感器通过对距离的感知辅助提升自动对焦的精度；此外，通过融合多个摄像头的信息，高动态范围成像（包括多图融合的去噪和夜景拍摄）、深度估计等算法，可以带来比利用单个摄像头有明显提升的画质细节、对比度表现，甚至可以在有限的光圈大小下模拟出大光圈的背景虚化效果。上述硬件和算法的配合，给普通用户呈现了可以“一键体验”近乎“专业”摄像的拍照体验。

图1-1 某手机广告中对于计算摄像（影）技术的介绍（图片来源于网络）

https://www.hihonor.com/cn/phones/honor-magic3-pro-series/

对于计算机视觉研究者而言，相机是完成视觉信息采集的主要工具，为几乎所有的计算机视觉算法提供了输入。如果输入图像或者视频质量不够高，再先进的计算机视觉算法都会遇到难以逾越的瓶颈。除了捕捉传统意义上的“图像”，还可以通过传统RGB图像传感器以外的视觉感知器件，进一步提升拍照的维度和性能。例如现在主流的智能手机通过前置的红外和深度摄像头，可以对暗光下的人脸进行三维成像，进而弥补基于图像的人脸识别算法不能正常工作的一些挑战场景，提升视觉感知对于环境的鲁棒性；在监控场景中，往往也不是一个摄像头“在战斗”，多焦段、多视角和多光谱的融合成像所能实现的对于真实环境的多维度感知，不仅可以让用户看清单个摄像头无法呈现出的一些细节和无法探测到的死角，而且对于机器视觉算法输入数据维度进行了扩展，必然使其可靠性得到一定程度的提升。

以对当今主流的手机摄像中拍照体验提升的分析为例，计算摄像技术可以通俗地解释为在成像的过程中引入计算，进而呈现传统相机看不清、看不准，甚至看不到的内容。相对应地，计算摄像学是一门融合计算机视觉、计算机图形学和计算光学的新兴交叉学科，希望实现比传统相机更高性能和更多维度的视觉信息捕捉。