1.5 CPS的测试与评价
虽然CPS在众多领域得到了广泛的应用，但是由于对CPS故障规律认识不够，未能建立有效的测试、评价与验证机制保证其可靠、安全运行，导致故障、事故或遭受攻击事件频发，缺乏及时应对措施，甚至造成重大损失和人员伤亡的例子已在现有部署的CPS上多次发生。在发展和对抗的背景之下，CPS 的安全可靠运行事关重大，其测试、评价理论与技术的研究刻不容缓。
1.5.1 CPS测试评价的意义与必要性
目前，在CPS领域面临的主要问题包括以下几方面。
（1）对CPS的故障规律认识不足、不深
对于以往的物理系统的设计分析与测试评估，一般假设物理故障相互独立。应用在物理系统之上的计算机与网络则考虑相反的原则，即大量网络攻击可能同时来袭或者多个故障协同发生。例如，分布式的服务攻击会使大量的僵尸电脑出现，以某种方式攻击同一个目标，遭受攻击的系统则很难恢复。甚至有时故障是不易察觉的，如软件的大量复制会导致系统级故障或失效，这在物理系统中是极不常见的现象。CPS 实现了信息系统与物理系统的全面深度融合，但是现在计算机系统的部署很少考虑基于计算机控制的可靠性，这就导致系统面临着新的威胁——物理系统将会通过信息空间受到攻击。同样地，信息系统也会遭受到来自物理器件、设备和系统级的故障与安全威胁。试想，如果汽车发动机引擎控制器的硬件突然故障，导致汽车无法制动，这样的问题可能会导致灾难性的事故。系统所处环境的多样性、多变性和严酷性也是不可避免的。同时，随着CPS中相对独立的子系统的建设规模和复杂性不断增加，导致系统间风险相互依赖性增强，系统脆性也将成为新的挑战，极易发生级联失效，引发连锁反应，使故障或事故变成不可控状态。因此，CPS 的故障呈现出新的复杂特性、特殊机理以及复杂的故障行为。目前人们对CPS中可能发生的故障类型的了解是非常不全面的。
（2）CPS系统日趋开放，信息安全面临新的挑战
随着技术的发展与融合，CPS系统逐步与公网实现互联，加之其广泛使用通用的硬件、软件和通信协议，大量缺陷及风险随之涌现。目前，支持多媒体和娱乐的公网网络服务也没有提供足够的应对安全威胁的网络基础设施。
（3）CPS广泛应用于关键领域，但我国相关核心技术仍受制于人
CPS 目前在我国应用极为广泛，包括核设施、航空航天、先进制造、石油石化、油气管网、电力系统、交通运输、水利枢纽、城市设施、国防系统等关键领域，但在核心系统和关键技术方面仍受制于国外，国内的关键系统大多依赖于国外厂商技术实力完成建设和运维。以中石油为例，我国约55%的油气靠进口，国内成品油储备仅为15天，然而油气输送、调度、控制系统90%以上均由国外厂商提供和运维。由此可见，我国具有自主知识产权的高端工业控制系统安全技术研究起步较晚，而且许多控制系统的核心硬件、软件的自主程度低。类似“震网”病毒这样的网络攻击技术有着强烈的政府和集团背景，工业控制系统的攻击与防御技术的研究是国家与国家之间的竞争。面对日益严峻的安全局势，我们将处于一种非常不利的位置。这些系统的可靠性与安全性存在极大的隐患，一旦出问题，后果将非常严重。
（4）国内尚缺测评体系，不利于产业的健康发展
CPS 是多种高新技术的有机融合，具备复杂系统的各类特点，对系统的建模和测评成为突破的重点领域。目前国外的爱达荷国家实验室、橡树岭国家实验室、西北太平洋国家实验室等均已开展研究，而我国在CPS领域起步较晚，尚未开展体系化研究，缺少测评技术规范、测评工具及测评环境。测评体系的缺失阻碍了创新步伐，制约了发展后劲。
在此背景下，CPS测评技术的发展刻不容缓。如果能够在CPS设计、研发过程中通过测评技术识别系统风险并采取相应措施，那么系统的效费比将得到很大提升；在其运行、维护过程中通过测评技术，监测其运行状态，基于实时监测数据得到当前风险量化指标甚至预测下一时刻风险值，从而帮助用户对可能出现的风险及时响应，选取和实施高效、全面的安全措施，避免危险和损失的发生。CPS的测评为CPS的安全运行提供了保障，为科学合理的安全决策奠定了理论基础，更为安全策略与防御措施的制定提供了指导，从而真正实现变“被动响应”为“主动防御”。可以说，CPS测评技术将极大地体现复杂系统科学与风险管理的根本思想，实现风险的控制、预测/预防，是未来CPS科学的基础理论与技术发展中不可或缺的部分。
1.5.2 CPS测评的对策建议
CPS的基础理论与技术研究方兴未艾，那么CPS测评技术的发展也不可能是一蹴而就的。研究CPS测评基础理论与技术，研发测评工具，建设测评公共服务平台将是一个逐步推进的过程。在此过程中，传统系统硬件、软件（含复杂分布式和嵌入式）、嵌入式系统（软硬件综合系统）、通信网络、无线传感器网络、物联网、电网及其广域监控系统、石油管网及其信息采集与监控（SCADA）系统、轨道交通信号网络、汽车电子系统、交通网络、光伏发电及其监控系统等系统的功能、性能、可靠性、安全性以及风险评估等测评技术的研究与应用实践经验，都将作为CPS测评的研究基础，这些领域也将成为CPS测评的服务对象。同时，由于CPS整体可以被抽象为复杂网络系统，对应各类关键基础设施及其网络，其功能、性能验证与安全可靠测评也将成为CPS测评的服务对象。
总体来说，稳步推进CPS测评研究需要做好以下几点关键技术。
（1）集中优势资源，加快公共服务平台建设
公共技术服务平台实现对政府、企业和行业应用的全面支撑，构建产学研用的产业链环境面向整个产业链，打造CPS领域服务团队，产学研用相结合，支撑政府工作，协助政府进行政策的落实，协助企业进行产品和技术的提升，协助用户保证系统可靠设计、安全运行。
（2）加大培训力度，提高安全可靠意识
在已有的理论、技术与工具平台的基础上，积极引进国外最新可靠性与安全性测评技术和工具，并进行消化与再创新，不断促进自主创新能力的提升；加强CPS测评工程技术人才和测试工程师的培养；积极与科研机构、产业部门沟通，推广CPS测评的重要理念，提高从业人员的可靠性与安全性设计、研发与运维的意识。
（3）加快落实CPS测评工程实践
在充分认识CPS测评重要性与紧迫性的前提下，明确重点工程实践领域，开展实际测评工作，积极主动发现问题，可帮助优化在研系统的设计、已有系统的运维安全。
（4）建立CPS测评服务体系
CPS测评服务体系包括：重点研究测评指标体系与关键技术等CPS测评基础理论与技术；建立测评的公共技术服务平台，搭建测评实验环境，研发与采购测评工具；进行行业的测评应用验证示范，参与制定相关行业测评标准，切实通过积极参与系统开发与集成过程、验收过程、运维过程中的CPS的定性与定量评估和质量等级评定，有效做到事前、事中与事后的质量与可靠安全控制，全面建设与提升各个工业领域中CPS的可靠性与安全性保障能力。
（5）开展CPS在线监测
我国有一部分大型基础设施（如大型跨度桥梁、大型体育场馆、超高层建筑、大型水利工程、电网电站、核电站、城市防洪系统等）都是在20世纪五六十年代或者更早的时期建造的，已有的与后建的新型基础设施的能力建设也面临巨大的负载压力与资源限制。对这些已有关键基础设施、工业生产系统或关键设备的运行状态与健康状态进行监测，实现预警机制，对其稳定、有效运行至关重要。
（6）加强CPS对抗威胁与攻击能力
通过对CPS安全性测评的研究，在物理系统与信息系统的安全漏洞检查的基础上，通过攻防对抗模拟，对其对抗安全威胁与攻击的能力进行评估，根据评估结果进行改进与完善，可以极大地增强系统的安全防护能力；同时，根据上述能力建设，在CPS测评技术体系下搭建相应的安全性测评子体系，构建自主可控的安全防护体系。
（7）加强数据融合分析、故障预测、安全事故预警等技术的研究
通过对分析结果数据、测试数据、状态监测数据、专家知识等数据进行数据融合分析，对多源信息进行优化组合与科学处理，建立故障预测、安全事故预警与故障诊断模型，提高状态监测与故障诊断和预测的智能化程度，这对涉及CPS的城市规划、资源管理、环境监测与分析，构建系统专用与通用质量特性的闭环控制是必不可少的基础技术。
（8）推动建立自主的安全完整性等级测评认证标准和体系
我国近些年可以说处于安全事故多发状态。功能安全和安全完整性等级只是作为一个名词概念，在国内工业领域业内流传。安全完整性等级（SIL，Safety Integrity Level）认证是基于IEC 61508、IEC 61511、IEC 61513、IEC 13849-1、IEC 62061、IEC 61800-5-2等标准，对安全设备的安全完整性等级（SIL）或者性能等级（PL）进行评估和确认的一种第三方评估、验证和认证。功能安全认证主要涉及针对安全设备开发流程的文档管理（FSM）评估、硬件可靠性计算和评估、软件评估、环境试验、EMC电磁兼容性测试等内容。目前国内还没有具备综合型完整的SIL认证能力的机构。在国际市场份额方面与国外认证机构在我国的分支机构相比，更是有名无实。国内大型研发企业为了打入国际市场，纷纷将自己的产品送到国外SIL认证机构进行安全完整性认证，这一举动无疑是将自主研发的产品部分或全部知识产权公之于发达国家。因此，我国亟需完善自主的功能认证标准和认证机构，同时以此为依据，为国外产品准入我国市场设立壁垒，反制竞争对手，从而保护目前我国安全可靠性相对薄弱的工业产业。