1.3 皮肤镜数字图像处理

自20世纪90年代以来，数字图像处理和分析技术在皮肤黑肿瘤的诊断中被不断地开展和深入应用，有关皮肤镜图像诊断皮肤肿瘤的文献也越来越多。早期的皮肤镜图像计算机辅助诊断是基于单机的，因此其研究也主要集中在预处理、图像分割和分类识别上。随着皮肤镜图像分析技术向网络平台的发展，对皮肤镜图像质量评价的研究也日益紧迫，因此出现了带有图像质量评价功能的皮肤镜图像自动分析系统，如图1-7所示。

1.质量评价

当采集到的图像质量过低的时候（如毛发过于粗密、图像模糊和有严重的光照不均等），此时图像已经失去了预处理的价值，即使经过预处理过程也很难得到质量合格的图像，正确的图像分割和分析诊断无法保证。由此，可以对采集到的图像先进行质量评价，对于质量不合格的图像，希望能够反馈给用户并要求用户重新采集，只有那些质量合格或者质量稍差但并不严重的图像，才可以进入后续的处理环节。遗憾的是，目前国内外科技工作者对于皮肤镜图像分析技术的研究主要集中在图像预处理、分割、特征提取及分类器设计等方面，而在皮肤镜图像质量评价方面的研究还很薄弱，现在能够查阅到专门讨论皮肤镜图像质量评价方面的文献主要来自本书作者所在的课题组。

采用皮肤镜对皮肤图像进行采集时，每个人的皮肤颜色纹理不同，病变类型不同，不可能获得每一幅采集图像的无失真参考图像，因此需要无参考的评价方法。影响皮肤镜图像质量的因素主要包括毛发遮挡、模糊和光照不均等因素。由于影响皮肤镜图像质量的因素不止一种，这些质量问题有可能单独存在，也可能同时存在于同一张图像。当多种因素混合存在时，各种因素之间不但相互有影响，而且对图像的整体质量也会有影响。因此不但要考虑单因素影响下的质量问题，还要考虑多种因素混合存在时的综合质量问题。北京航空航天大学图像中心自2012年开始对皮肤镜图像的质量评价进行研究，采用先检测毛发目标，再根据毛发的分布特性对毛发遮挡的程度进行评价，采用基于Retinex的变分模型估计光照成分，并用光照梯度对光照不均进行评价；对于模糊失真，则在小波域提取特征并对失真等级进行量化。

2.预处理技术

皮损图像经常受皮肤纹理及毛发等外界因素的影响而给边界检测带来困难，须用预处理技术来平滑掉这些噪声，以提高分割的准确度。例如，Taouil采用形态学Top-hat滤波器对图像进行预处理，滤除噪声并突出目标的边界信息，提高后续Snake方法对皮损目标分割的准确性；Tanaka和Lee用中值滤波器来平滑噪声并保持一定的结构和细节信息。以上方法对于非毛发噪声的去除具有优势，且在大多数情况下能够提高分割算法的准确性，但对于存在毛发的情况，尤其是比较粗黑的毛发，却不能得到满意的分割结果。人体毛发在皮肤镜图像采集过程中不可避免，如图1-8所示。在临床应用中，毛发噪声的存在会影响分割的精度，同时也会影响皮损特征的抽取，从而导致分析测量的不准确，影响诊断结果。因此，毛发的去除是皮肤镜图像预处理中的一个最主要任务。尽管图像处理技术在皮肤病学方面发展迅速，但是皮肤图像上有关毛发问题的研究还并不深入。虽然可以在图像采集前刮掉毛发，但该方法既费时又增加了额外支出，而且对全身皮损成像也是不现实的。用软件方法处理毛发问题可以有不同的方式，Lee采用基于形态学闭运算从图像中提取出毛发，并用毛发周围的像素信息对毛发区域进行填充，从而将毛发从图像中移除，本书作者在2009年提出了用于描述条带状连通区域的延伸性函数，以此特征函数作为提取毛发目标的测度，并采用基于偏微分方程的图像修复技术进行被遮挡信息的修复，取得了满意的效果。

人体骨骼不是一个平面，并且皮肤和肌肉是有弹性的，因此用皮肤镜采集皮损图像时，经常会有外界的自然光进入皮肤镜，从而造成图像的光照不均。而模糊是皮肤镜图像中的另一类常见失真，采集图像时的抖动及镜头不聚焦等都会造成模糊。北京航空航天大学图像中心课题组采用基于Retinex的变分模型对光照失真进行恢复，并且采用维纳滤波方法对轻度的模糊图像进行复原，均取得了较为满意的效果。

3.皮肤镜图像分割

图像分割是图像分析和模式识别的首要问题，也是图像处理的经典难题之一，它是图像分析和模式识别系统的重要组成部分，并决定图像的最终分析质量和模式识别的判别结果。因此，皮肤镜图像的自动分割是自动分析皮肤肿瘤图像的关键。

皮肤病变组织会发生在身体的各个部位，恶性皮损图像经常会有多种纹理模式并存的现象，而且图像中不同模式间交界不明显，颜色特征也有很多不同，如图1-9所示。总体而言，皮肤镜图像主要具有以下特点。

（1）皮损和周围皮肤对比度比较低。

（2）皮损的形状不规则，而且边界模糊。

（3）皮损内部颜色多样。

（4）皮肤存在纹理且图像中存在毛发。

对于医生的临床诊断，纹理、颜色的细微变化及过渡区域的大小往往都是诊断的重要依据，以上情况大大增加了分割的复杂性。因此正确分割皮肤镜图像是一项非常具有挑战性的工作。

到目前为止，研究人员已经提出了一些自动分割算法，主要包括基于阈值的方法、基于动态聚类的方法、基于区域融合的方法、基于监督性学习的方法、基于竞争型神经网络的方法及基于活动轮廓模型的方法等。例如，Grana用大津阈值自动分割图像，然后用k个点做样条插值获得光滑的边界曲线。Taouil采用Snake方法检测皮损目标边界，该方法获得了比大津阈值更理想的边缘检测结果。Celebi首先用统计区域融合（SRM）的方法将图像分成若干个颜色和纹理相近的子区域，然后计算位于图像4个角位置小区域的颜色均值，并将这一颜色均值作为背景皮肤颜色估计值，从而完成皮损图像的自动分割。但是该方法对于那些4个角上不含背景皮肤的情况，则得不到理想的结果。Silveira则将Gradient Vector Flow（GVF）、Level Set、Adaptive Thresholding（AT）、Adaptive Snake（AS）、EM Level Set（EM-LS）和Fuzzy-Based Split-and-Merge Algorithm（FBSM）6种分割算法进行分析，通过对100幅皮肤镜图像的分割对比，认为AS和EM-LS是具有最好分割效果的半自动方法，而FBSM则是最好的全自动分割方法，其分割效果仅次于AS和EM-LS。

颜色是图像分割的重要特征之一，彩色空间聚类是皮肤镜图像分割的另一类常见方法。例如，Melli对K-均值、模糊C均值和Mean Shift等几种聚类方法进行了对比分析，特别强调了Mean Shift方法在分割皮肤镜图像方面的良好性能。然而，由于彩色聚类方法容易受噪声影响，经常不能正确描述一个目标区域，因此在实际应用中，经常要将彩色聚类方法与其他连通区域提取或空间拓扑关系描述方法相结合，方可得到更好的应用效果。

在国内，苏州大学的Liu采用遗传算法对BP神经网络的权重和阈值进行优化，实现了皮肤镜图像的分割，分割出的目标具有连续的边界和清晰的轮廓。自生成神经网络（Self-Generating Neural Network，SGNN）是一类利用竞争学习机制的一种非监督学习自组织神经网络，具有网络设计简单、学习速度快的优点，适合用来解决分类或聚类问题。本书作者在采用区域生长方法将图像进行粗分割的基础上，将遗传算法与SGNN相结合实现了皮肤镜图像的自适应聚类，该算法在提高SGNN聚类算法稳定性的同时，能够自适应确定聚类的类别数，不需要任何人工干预。

皮损分割是皮肤镜图像自动分析中最活跃的领域，每年都会有一些新的分割算法被提出。据文献统计，在1984年至2012年期间发表的有关皮损图像自动分析的文献中，有28%的文献是关于皮损分割的。然而，正如图像分割问题一直是图像处理领域的重要问题一样，目前皮肤镜图像的分割问题仍然没有彻底解决，当采集条件变化、对比度过低或者皮损目标边界过于模糊时，分割算法的适用性就会受到限制。

4.皮损目标的特征描述和分类识别

皮肤黑色素瘤具有颜色和纹理特征，而在临床诊断上，医生主要是靠病变部位的颜色、纹理、形态和结构等特征进行判断的。目前人工诊断黑色素瘤的标准有ABCD准则、Menzies打分法和七点检测列表法。

（1）ABCD准则即指A（Asymmetry，不对称性）、B（Borders，边界）、C（Colors，颜色）、D（Different Structural Components，不同的结构组件）等4个方面，当皮损区域呈现不对称、边界处皮损模式变化剧烈、皮损内部颜色多样以及皮损内部包含不同的结构组件时，则认为恶性肿瘤的可能性大。

（2）Menzies打分法即包括2个良性指征（模式对称，颜色单一）、2种恶性指征（模式非对称，多种颜色）和9种活性指征，通过综合判断良恶性和活性指征，来对肿瘤进行分类。

（3）七点检测列表法对肿瘤的检测标准分为主要准则和次要准则，主要准则包括非典型性皮损网络、非典型性血管模式、蓝白结构，次要准则包括条纹状不规则性、皮损的不规则性、点或水珠状不规则性、病区退化。以上主要准则赋2分，次要准则赋1分，打分结果小于3分的为非恶性黑色素瘤，否则为恶性黑色素瘤。

提取黑色素瘤图像的有效特征是目标成功分类和识别的关键。特征提取和描述主要依据人工诊断黑色素瘤的评判标准来进行，统计的特征提取技术，如各种纹理特征、颜色特征、马尔可夫随机场模型特征、傅里叶谱特征等，也是本文中采取的主要方式。

2004年，Tanaka基于ABCD准则用统计的方法获得皮损的105个特征，用递推判别方式进行识别，识别率达到96%。同年，Motoyarna将RGB图像的每个通道分成16等份，将RGB彩色空间平均映射成4096（4096=16×16×16）个立方体格子，从而分析恶性黑色素瘤的颜色特性，通过实验证明了根据颜色信息可以有26%的恶性黑色素瘤被检测出来。2007年，Celebi根据ABCD诊断准则，将皮肤镜黑色素瘤图像的颜色、纹理和形状等信息结合起来，提取出437个特征，并通过Weka数据挖掘平台优选出18个重要特征。

好的特征描述可以得到好的分类结果，而分类器模型的不同选择同样影响分类准确率。目前，K近邻、支持向量机（SVM）和神经网络等分类方法用作黑色素瘤图像分类识别的常用方法。2003年，Zhang基于前向神经元网络，采用后向传播学习算法，每个感知器采用双曲正切传递函数，实现对肿瘤图像的分类识别。皮肤镜可以获得黑色素瘤表皮特征，而多光谱图像则表现了黑色素瘤的深度和结构特征，Sachin用神经网络技术对皮肤镜图像进行分类，并采用模糊隶属度函数和自适应小波变换方法对多光谱图像进行分类，并对3种方法进行对比分析，通过实验得出将皮肤镜和多光谱技术结合能够提高黑色素瘤诊断准确率的结论。Celebi在对黑色素瘤进行特征提取后，采用支撑向量机（SVM）实现了黑色素瘤的有效分类，其敏感度和特异度分别达到93.33%和92.34%。本书作者于2009年针对皮肤黑色素瘤目标提出了新的基于边界的特征描述方法，结合常用的颜色和纹理特征描述，采用组合神经网络对皮损目标进行分类识别，分类敏感度和特异度分别达到95.2%和96.2%。

5.基于卷积神经网络的皮肤镜图像分析

采用传统机器学习方法对皮肤镜图像进行分割和分类，所基于的特征大多是低级特征，分类器也都是传统的机器学习分类器。2012年以来，深度学习作为一种新的机器学习方法开始流行，并逐渐成为计算机视觉和模式识别领域解决问题的强有力工具。因此，基于深度学习的皮肤镜图像分析方法开始被提出，包括皮肤镜图像的分割、皮肤镜图像的分类及皮肤镜图像的检索等各个方面。

在皮损分割方面，2017年，Bi等人将多个全卷积神经网络进行串联，将每一级网络的输出和原始图像作为下一级网络的输入，使用元胞自动机综合各级网络输出得到皮损边界。Yuan等人设计基于Jaccard距离的损失函数来提高分割网络的准确度，获得更精确的皮损区域。Codella等人首先将图像的RGB和HSV共6个通道同时输入全卷积网络中训练分割网络，并将训练得到的10个不同参数的网络组合起来得到分割结果，在分类任务上，他们从原始图像和根据分割结果裁切的图像上分别提取了多种传统特征和深度学习特征，采用非线性SVM分类器得到分类结果。早期的皮损分类研究主要集中在皮肤肿瘤的良恶性识别上。深度学习方法被提出以后，皮肤镜图像的多分类研究引起了人们的关注。美国斯坦福大学人工智能实验室于2017年在Nature上发表文章，其在GoogLeNet Inception-v3网络上采用迁移学习对皮损图像进行端到端的分类。在3种皮肤疾病和9种皮肤疾病的分类任务上分别获得了72.1%和55.4%的分类精度，该结果超过了两名专业医生的诊断水平。斯坦福大学的研究使得皮肤镜图像的分类算法从两分类发展到了多分类。Matsunaga等人则将多个深度神经网络进行组合实现了黑素瘤、色素痣和脂溢性角化三种皮肤病的多分类。

本书作者所在课题组近年来在基于卷积神经网络的皮肤镜图像分析方法上也取得了很大进展。2017年，课题组设计双分支结构的全卷积神经网络，分别提取全局和局部特征并进行融合，得到皮损边界，同时设计带有嵌套残差结构的卷积网络来对6种皮损类型进行端到端的多分类，获得了65.8%的分类精度。2021年，课题组采用EfficientNets网络对炎症性皮肤病进行了分析，并且设计抗旋转深度哈希网络实现了四种皮肤镜图像的检索。