第4章 城市“数据大脑”的智慧源泉——数据资源安全
4.1 智慧城市的数据资源
经过几千年的发展,城市发展进入了智慧城市的阶段。智慧城市核心理念就是利用新一代信息技术,通过信息网络互联的方式对各种数据进行整合共享、监测分析,形成对城市运行态势的充分透彻的感知,从而进行更加合理全面的资源调控,使城市的公共安全、环境保障、交通通信、金融能源、文化教育、医疗保健等各种公共服务实现更高效、更便捷的运行,最终实现居民生活质量极大提高,城市经济健康运行的新型城市发展目标。
智慧城市本身就是典型的数据密集环境,每时每刻都会产生大量的数据,公交系统记录着市民出行,道路视频系统记录着城市路况,电子支付系统记录着交易行为,工商税务的信息系统记录着城市经济运行情况。在智慧城市环境下,这些数据已经成为关系城市经济和社会发展的战略性资源,对数据资源进行综合分析和利用,是实现智慧城市各种应用场景的重要基础,对这些重要的数据资源,同样需要我们像对待其他资源一样进行有效的保护。
4.1.1 智慧城市数据资源的特点
智慧城市的数据资源有以下特点。
1.来源丰富
在传统城市中,数据来源比较单一,基本上都是人工录入或是信息系统自身运行中产生的。随着移动互联网、物联网应用的普及,传感器(智能电表、车载设备)、摄像头、智能手机(技术本质上是一种更综合的传感器)、医学影像及生化检验设备等也产生了大量数据。在智慧城市中,数据来源种类比以往丰富了很多。
2.结构多样
智慧城市由多种应用组成,不同的应用需要的数据资源也不同。例如,智慧交通系统需要存储车辆、天气、道路行人等大量音视频、图像数据;平安城市系统需要存储城市各种监控、交通管理、环境保护、危化品运输监控、食品安全监控等数据;这些城市管理系统的主题库存储的数据绝大部分是非结构化数据,随着时间的积累和数量采集来源的增加,势必要使用大数据存储技术。
3.规模庞大
在智慧城市框架下,多媒体/社交媒体及其他类型网络在数据产生量方面呈现几何级增长。智慧城市运营系统需要存储不同时间段、不同区域、不同部门获得的大量监测数据等。即使是现代工业产品和设施设备,如汽车、火车、发电站等,其装备的传感器数量也随着智能化程度的提高在增加,这些传感器也在持续收集不断增多的数据。不断增长的数据量给数据收集、数据分析、数据安全带来了新的挑战。
4.用途广泛
传统城市中的数据,用途比较单一,通常只在数据生成的领域中使用。智慧城市中数据的使用非常广泛,包括电子政务、城市公共安全、应急指挥、无线覆盖、资金支付(惠民资金、看病、公交地铁、缴纳水电费、购买天然气等)、互联网应用服务(微信平台和App等)、市民窗口办事(社区服务、城市管理等)、市民网站办事及服务热线等海量数据在惠民服务提供、规律预测、情境分析、串并侦查、时空分析等方面将得到应用。保险公司可以根据汽车车载自动诊断系统提供的数据,分析车辆驾驶员的驾驶习惯,给出不同的保险费率。如果自动驾驶普及之后,也许可以将保费降到接近于零的水平。
4.1.2 智慧城市数据资源管理的关键问题
4.1.2.1 资源整合
数据是智慧城市运营决策的基础,因此,也是决定智慧城市建设成败的关键性因素。当前普遍存在的各行业各部门的数据缺乏共享,即所谓“数据孤岛”问题,是阻碍智慧城市建设的最突出问题。无论是政府还是相关产业专家,都认识到了该问题的存在,也都明确了数据共享的目标。《国家信息化发展战略纲要》中指出要应用大数据技术建设智慧城市,“加快政府数据的开放共享”作为国家《促进大数据发展行动纲要》三大任务之首。而对于采取什么步骤扎实推进数据共享,还缺少深入到位的认识。政府跨部门的数据共享,采用统一的数据交换平台,公开政府数据资源目录的方式进行。这种方式虽然解决了数据共享的问题,仍然没有实现数据的整合。
智慧城市的数据资源应该是集中整合而不是分布隔离。数据资源的整合应该依据以下的原则来进行。
(1)以人的根本需求为中心。
就是以市民为中心,围绕着市民的衣食住行等日常生活的需求作为出发点,设计智慧城市的应用场景,进而推导出数据整合的具体要求。
(2)以主数据管理为重点。
企业的数据管理内容及范畴通常包括:交易数据、主数据以及元数据,如图4.1所示。
图4.1 数据通用分类
主数据:定义企业核心业务对象(如客户、产品、地址等)的数据,主数据一旦被记录到数据库中,需要经常对其进行维护,从而确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。主数据具有高业务价值,存在于多个异构的应用系统中,需要跨越各个业务部门被重复使用(即需要共享)。
交易数据: 用于记录业务事件,如客户的订单、投诉记录、客服申请等,它往往用于描述在某一个时间点上业务系统发生的行为。
元数据:即关于数据的数据,用以描述数据类型、数据定义、约束、数据关系、数据所处的系统等信息。
与企业类似,智慧城市的数据也分为上述三类数据,只是数据都是围绕城市运营管理的,在内容和覆盖行业方面更加丰富。
城市主数据:定义城市核心服务对象(个人和组织)的数据。城市主数据可以来自各政府部门、事业单位、企业单位等。主数据应该集中存储管理,并面向单位和个人提供有序可控的开放共享。
城市交易数据:城市运行过程中产生的记录各种服务事件的数据。在城市运营中,公共服务领域中每天产生的交易数据数量虽然比较庞大,但以现有的技术条件应该能支持全部集中存储。假设一个大型城市,常住人口2000万,外来人口500万,交通、气象、教育、医疗、旅游、金融每天产生的交易数据50亿条,按平均每条记录用20字节表示,数据量在将近100GB的规模。
城市元数据:城市元数据需要对城市运营中的各种主体进行规范性说明。完备的元数据定义是数据共享与应用的前提。需要根据公共服务的内容来确定元数据应该覆盖的方方面面。
智慧城市的数据资源整合,就是一套以主数据管理为基本方法的管理过程。主数据管理是指一整套的用于生成和维护主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性。
4.1.2.2 数据建模
城市管理涉及多个部门,这些机构和部门的信息系统往往采用不同厂商的解决方案。因此跨机构协作和信息交换可能受到限制。智慧城市解决方案需要促进相关信息的分类和选择,以便以一种结构化方式跨机构使用。建立一种基于标准的数据模型的任务迫在眉睫。智慧城市的数据模型是整个城市顶层设计的一部分,统一的智慧城市数据标准对实现城市跨信息系统的相互操作性、数据表示和交换、数据聚合、虚拟化和应用的灵活性都有极为重要的作用。
数据模型定义了信息的结构和它在一个语义级别上代表的含义。一个机构要处理和正确解释另一个机构提供的信息,就需要理解基础数据模型。每个机构通常使用它自己的数据模型,这种模型是为在旧有系统施加的限制下解决它的具体需求而设计的。数据模型至关重要的作用是协调不一致性。智慧城市解决方案应考虑和使用各种标准,定义一个通用的智慧城市数据模型,这将会简化转换过程,因为与机构的具体模型的映射需要遵守通用模型。下面以“计划内道路施工”的场景为例,说明数据模型的定义过程。
1.简短描述
计划内道路施工场景是一个即将发生的事件,涉及一个繁忙的城市十字路口处的主干道修理。道路修理由运输部门发起,表现为为特定日期和位置安排的、具有指定的持续时间的计划性活动。道路修理的协调需要其他受影响的城市领域确定影响,包括公交车和火车、水、电力、建筑和公共安全领域。各个领域之间的协作可有效地最小化对交通流量的总体破坏,帮助缩短修理时间,以及减少总体成本。
在计划内道路施工场景中发挥关键作用的人员包括:运营人员、监督人员、响应者、分析师、资产经理。此外,还创建和维护了一些关键绩效指标(KPI),以跟踪某个响应及其关联过程的有效性。KPI示例包括:响应时间、完工时间、建设成本、节省费用、对城市服务的影响。
2.基本的事件流
(1)运输机构中的资产经理花两个月时间计划对一个繁忙的城市十字路口进行为期大约一个星期的主干道修理。
a)资产经理创建一个工作通知单来管理道路修理。
(2)收到工作通知单后,运输机构运营人员创建一份进展报告来向其他城市机构和部门通报修理作业。
(3)受影响的机构和部门内的分析师执行初步影响分析,他们可使用业务规则和分析自动化标准操作过程,从而优化分析结果。他们确定了机构特定的影响后,将一起执行一次协作式总体分析(参阅第(4)步)。
a)公交部门确定其将受到影响的一条公交车线路。
b)水管理部门确定可与道路修理同步进行的(相同区域中的)管道维护。
c)电力部门确定可与道路修理同步进行的(相同区域中的)地下基础设施维护。
d)公共住房部门确定其将受影响的一些建筑。
e)警察局确定在修理工作进行时的高峰时段,它可能需要安排警员到现场指挥交通。
(4)受影响机构的监督人员发起一次机构间协作和影响分析。
a)所有受影响机构/部门的资产经理协调和最终确定行动计划。
b)由于道路修理将影响许多机构,城市监督人员将承担起工作的整体协调。
5)道路、公交车、水、电力、建筑和公共安全监督人员通知他们各自的资产经理执行维护和调度计划。
a)跨机构协调工作,保障安全和顺利操作。
b)发出适当的广播来向居民社区告警以下信息。
i.道路封闭和备用路线。
ii.公交车重新调度和路线变更计划。
iii.公共饮用水供应的水服务中断。
iv.指明停电计划的电力服务中断。
v.针对受影响房产的居住者的建筑服务中断。
c)城市监督人员不断了解最新进度和目标完工时间。
6)机构人员(响应者)以一种协调方式按计划完成维护工作。
a)完结所有受影响机构的工作通知单。
b)播放适当的广播来告警居民社区。
7)城市监督人员执行事后成本和影响分析,以确定总体响应的有效性。
3.关键模型概念
一些模型概念对上述计划内道路施工场景很重要:组织、告警、事故、人员、资产、工作通知单、流程、KPI位置和时间。此外,其中许多概念之间存在着紧密的关系。对于每个概念,现有标准的适用性和标准空缺范围差别很大。
● 组织
√ 定义:为特定目的而组织起来的一群人
√ 示例:警察局、公共住房部门、公交部门、运输机构、水管理机构、电力公司
√ 关键属性:名称、组织类型、描述、标识、网站
√ 关键关系:组织(父子)、资产、位置
● 告警
√ 定义:针对一个即将发生的事件的警告或告警
√ 示例:道路修理进展报告
√ 关键属性:发送者、描述、紧急性、严重性、确定性、开始时间、位置、支持性资源
√ 关键关系:发送者(组织或人员)、位置、事故、工作通知单
● 事故
√ 定义:可能需要响应的一件事情或事件
√ 示例:道路修理、车祸、水管爆裂、犯罪活动
√ 关键属性:事故的日期和时间、描述、ID
√ 关键关系:位置、告警、工作通知单、负责人(组织或个人)
● 人员
√ 定义:一个人
√ 示例:James、Bob、Sally
√ 关键属性:全名、名字、姓氏、性别、出生日期、出生地、国籍、出生国家
√ 关键关系:雇主、位置、地址、组织、职位(比如,运营人员、监督人员、响应者、分析师、资产经理)
● 资产
√ 定义:一件可不断跟踪的实际物体
√ 示例:道路、水管、电容器、公交车、建筑
√ 关键属性:描述、ID
√ 关键关系:组织、人员、制造商、位置、工作通知单、事故
● 工作通知单
√ 定义:执行某项工作(比如,修复、修补或更换)的通知单
√ 示例:道路修理、一个主阀上的电力维护、公交车线路调整
√ 关键属性:描述、ID、注释、优先级、状态、位置、开始日期/时间、停止日期/时间
√ 关键关系:工作步骤、工作通知单(父子)、事故、告警、组织、维护历史、规范、人员、资产
● 流程和过程
√ 定义:实现一个目标的一系列操作
√ 示例:道路修理通知和协调
√ 关键属性:流程文档
√ 关键关系:流程步骤、工作通知单、事故、告警、组织、人员、资产
● 关键绩效指标
√ 定义:分析一个人、流程或事物的条件或绩效的一种度量方法或标准
√ 示例:响应时间、完工时间、城市成本、城市节省、对城市服务的影响
√ 关键属性:描述、度量指标、阈值
√ 关键关系:KPI(父子)、组织、事故、告警、流程和过程、资产
● 位置
√ 定义:使用一种地基坐标系统、名称或地址按坐标识别的地理场所、点、位置或区域
√ 示例:道路修理位置:城市十字路口、水管位置
√ 关键属性:地理坐标、邮政地址、时间戳
√ 关键关系:人员、组织、资产、事故、告警
● 时间
√ 定义:用于排序事件、对比事件持续时间和它们之间的间隔,以及量化变动率(比如,物体移动)的度量系统
√ 示例:开始时间、结束时间
√ 关键属性:年、月、周、天、小时、分钟、秒、毫秒
√ 关键关系:持续时间
4.1.2.3 技术平台
传统城市运营中的主要问题是:存在大量“信息孤岛”,数据缺乏有效的整合共享,难以进行深度分析从而形成智慧的管理决策。引入数据治理的理念和大数据技术处理城市运营中产生的各类数据已经成为智慧城市建设的必然选择。数据治理给出了打破信息孤岛,整合共享数据的方法思路。大数据技术可以整合分析跨地域、跨行业、跨部门的海量数据,形成智慧城市运营的决策。智慧城市的标志之一就是整个城市运营是在一个智能化运营中心的指挥调度之下进行的。智慧城市运营中心(Smart City Operation Center)是“以应用场景为依据,以数据为核心,跨领域协同共享”的大数据分析平台。如果说这样一个平台是所谓的“城市大脑”,数据就是这个大脑的血液。
政务数据的整合共享是智慧城市建设的关键,也是支撑智慧城市数据运营、决策分析、数据开放的基石。图4.2所示是对智慧城市政务数据融合分析平台架构的详细描述。政务数据融合分析平台汇聚各部门已建成的“烟囱式”行业信息系统中的数据,遵循数据管理标准中的映射规则管理、字典管理、元数据管理、标准包管理等规范方法,对原本分布离散的数据进行汇聚、清洗、建模、融合,形成高质量的数据资源,重构为面向数据资产的基础数据模型(如人口数据模型、法人数据模型)。在此过程中利用基于工单的数据质量评价与提升机制,通过质量问题分配、质量问题跟踪、质量问题趋势分析等功能,保障并提升数据质量。该架构的核心是大数据聚合分析平台。该平台包含了智慧城市横向建模大整合内核系统,一方面支持在资源、能力、行为、事件、过程、目标和价值层面按横向整合的思路逐层构建和运行智慧城市对象公共信息模型;另一方面集成了大数据公共基础计算资源和传统数据仓库体系的资源。传统数据仓库体系资源一方面可以按主题建模产生数据集支持OLAP(Online Analytical Processing,在线分析处理)类应用,提供数据可视化和决策支持服务,另一方面可以基于城市对象公共信息模型构建的城市对象数据库直接生成操作数据集支持OLTP(OnLine Transaction Processing,联机事务处理过程)类应用。如上两类数据和服务资源一方面可利用Restful风格的Web服务向上支撑各类大整合的应用,另一方面可通过数据交换平台对传统竖井式应用提供数据服务。
图4.2 智慧城市政务数据融合分析平台
4.1.2.4 安全防护
智慧城市中,大部分数据将从各类日常交易的电子记录中获取,多数情况下这些多元的记录数据附带有居民身份和时空地理信息。随着居民生活对智能网络依赖性的增长,个人、家庭的生活信息通过物联网全方位暴露,使个人信息泄漏风险加剧。例如,智慧社区个人IP、身份、住址的信息泄漏,增加了个人遭受金融诈骗的风险。在智慧城市建设的初期,人们普遍缺乏个人信息保护意识,也缺乏安全防护实践,民生领域中信息安全所面临的问题变得更为复杂。