《架构师》特刊:微服务与DevOps技术内参
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

谈API网关的背景、架构以及落地方案

王延炯

Chris Richardson曾经在他的博客上详细介绍过API网关,包括API网关的背景、解决方案以及案例。对于大多数基于微服务的应用程序而言,API网关都应该是系统的入口,它会负责服务请求路由、组合及协议转换。如Chris所言,在微服务的应用程序中,客户端和微服务之间的交互,有如下几个挑战:

微服务提供的API粒度通常与客户端的需求不同,微服务一般提供细粒度的API,也就是说客户端需要与多个服务进行交互。

不同的客户端需要不同的数据,不同类型客户端的网络性能不同。

服务的划分可能会随时间而变化,因此需要对客户端隐藏细节。

那API网关具体是如何解决这些问题的,在API网关的落地上,需要注意哪些地方,就这些问题,InfoQ编辑采访了普元主任架构师王延炯,与他一起探讨了API网关的来龙去脉。

InfoQ:谈谈你所理解的API网关,以及API网关出现的背景?

王延炯:API Gateway(API GW /API网关),顾名思义,是出现在系统边界上的一个面向API的、串行集中式的强管控服务,这里的边界是企业IT系统的边界。

在微服务概念的流行之前,API GW的实体就已经诞生了,这时的主要应用场景是OpenAPI,也就是开放平台,面向的是企业外部合作伙伴,对于这个应用场景,相信接触的人会比较多。当在微服务概念流行起来之后,API网关似乎成了在上层应用层集成的标配组件。

其实,在我所经历过的项目中,API GW的定位主要有五类:

1.面向Web App

这类场景,在物理形态上类似前后端分离,此时的Web App已经不是全功能的Web App,而是根据场景定制、场景化的App。

2.面向Mobile App

这类场景,移动App是后端Service的使用者,此时的API GW还需要承担一部分MDM(此处是指移动设备管理,不是主数据管理)的职能。

3.面向Partner OpenAPI

这类场景,主要为了满足业务形态对外开放,与企业外部合作伙伴建立生态圈,此时的API GW需要增加配额、流控、令牌等一系列安全管控功能。

4.面向Partner ExternalAPI

这类场景,业界提的比较少,很多时候系统的建设,都是为了满足企业自身业务的需要,实现对企业自有业务的映射。当互联网形态逐渐影响传统企业时,很多系统都会为了导入流量或者内容,依赖外部合作伙伴的能力,一些典型的例子就是使用「合作方账号登录」、「使用第三方支付平台支付」等等,这些对于企业内部来说,都是一些外部能力。此时的API GW就需要在边界上,为企业内部Service统一调用外部的API做统一的认证、(多租户形式的)授权、以及访问控制。

5.面向IoT SmartDevice

这类场景,业界就提的更少了,但在传统企业,尤其是工业企业,传感器、物理设备从工业控制协议向IP转换,导致具备信息处理能力的「智能产品」在被客户激活使用直至报废过程中,信息的传输不能再基于VPN或者企业内部专线,导致物理链路上会存在一部分公网链路。此时的API GW所需要满足的,就是不是前三种单向的由外而内的数据流,也不是第四种由内而外的数据流,「内外兼修」的双向数据流,对于企业的系统来说终端设备很多情况下都不是直连网关,而是进过一个「客户侧」的集中网关在和企业的接入网关进行通信。

InfoQ:在一个微服务架构中,API网关会在架构中的那一层?他主要的作用是什么?

王延炯:接续前一个话题,我把API GW分为了五类,对于当前的企业而言被关注的是前三类或者前四类API GW。显然,它们都会出现在企业系统的边界上,也就是和企业外部交互的「独木桥」上。

它们除了保证数据的交换之外,还需要实现对接入客户端的身份认证、防报文重放与防数据篡改、功能调用的业务鉴权、响应数据的脱敏、流量与并发控制,甚至基于API调用的计量或者计费。

InfoQ:你有研究过Netflix的API网关吗?在实现方式上,你觉得他们的方式有什么巧妙之处吗?

王延炯:Netflix的API GW,主要是指Zuul, Netflix将他们用于自己的三大场景: Website Service, API Service, Streaming Service。其中前两个定位与我的前两个分类:Web App, Mobile App比较类似,第三个Streaming Service主要是netflix的核心视频业务所形成的特有形态。

Netflix在Zuul的实现上,主要特色是:Filter的PRE ROUTING POST ERROR(PRPE模型),以及采用Groovy脚本的Filter实现机制、采用Cassandra作为filter repository的机制。

Filter以及Filter的PRPE模型,是典型的「前正后反模型」的实现,为集成的标准化做好了框架层面的铺垫。

Netflix其实并没有对API GW进行深入的功能实现(或者说面相业务友好的相关功能),整体上它只提供了一个技术框架、和一些标准的filter实例实现,相信了解过filter chain原理的分布式中间件工程师也能搭出这样的框架。这么做的原因,我认为很大原因是API GW所扮演的角色是一个业务平台,而非技术平台,将行业特征很强的业务部分开源,对于受众意义也不是特别大。另外,除了Netflix Zuul,在商业产品上还有apigee公司所提供的方案,在轻量级开源实现上还有基于Nginx的kong, kong其实提供了19个插件式的功能实现,涵盖的面主要在于安全、监控等领域,但缺少对报文转换的能力(为什么缺也很显而易见——避免产生业务场景的耦合,更通用)。

另外,还有基于TCP协议的GW,比如携程无线应用的后端实现有HTTP和TCP两种,有兴趣的读者也可以深入关注。

InfoQ:在API网关的设计上,需要包含哪些要素?

王延炯:从三个方面说吧,API网关本身以及API网关客户端,还有配套的自助服务平台。具体如下:

API GW本身

• NIO接入,异步接出

• 流控与屏蔽

• 秘钥交换

• 客户端认证与报文加解密

• 业务路由框架

• 报文转换

• HTTP DNS/Direct IP

• API GW客户端SDK /Library

基本通信

• 秘钥交换与Cache

• 身份认证与报文加解密

配套的在线自助服务平台

• 代码生成

• 文档生成

• 沙盒调测

InfoQ:在API网关的落地上,你有可行的方案吗?在API网关的落地上,难点是什么?

王延炯:在我所服务过的阿里系、非电商互联网公司里,内部的分布式服务调用采用的是Dubbo,但移动应用是iOS和Android,基本上没有PC Web端的客户端,在这种条件下,API GW所承担的一个重要角色就是报文转换,并且是跨语言、跨运行平台的报文转换。报文就是数据,在跨平台、跨语言的条件下,对于数据的描述——元数据——也就是类定义,对于API GW的系统性挑战是巨大的:传输时,报文内不能传输类定义,跨语言的类定义转换、生成与加载。

API GW的落地技术基本贯通没有太大的难度,但形成最佳的实践,有一些外围的前置条件,比如:

后端API粒度

能和原子业务能力找到映射最好,一定要避免「万能接口」的出现。

业务路由的实现和含报文转换的API不停机发布

尽可能的在报文头里面存放业务路由所需要的信息,避免对报文体进行解析。

API GW上线后,面临的很大问题都是后端服务如何自助发布到外部,同时不能重启网关服务,以保障业务的连续。在此过程中,如果涉及到报文格式的转换,那对API网关实现的技术要求比较高。如果让网关完成报文转换,第一种方案,网关需要知道报文的具体格式(也就是报文的元数据,或者是类定义),这部分要支持热更新。第二种方案,需要客户端在报文内另外附加元数据,网关通过运行期加载元数据对报文进行解析在进行报文的转换,这种方案性能不会很好。第三种方案,就是在运行期首次报文转换的时候,根据元数据生成报文转换代码并加载,这种方案对技术实现要求比较高,对网关外围平台支撑力度要求也不低。

客户端的秘钥管理

很多人都会把安全问题简单的用加密算法来解决,这是一个严重的误区,很多时候都存在对秘钥进行系统性管理的短板。打个比方,加密算法就好比家里的保险箱,而秘钥是保险箱的钥匙,而缺乏秘钥管理的安全方案,就好比把钥匙放在自家的客厅茶几上。更何况,安全方案里加解密也只是其中的一部分。

InfoQ:你认为一个设计良好的API网关应该做到什么?

王延炯:目前业界关注的API GW,主要是在前三类,下文对于API网关的设计上,侧重于「面向接入」的API GW。

在API网关的设计上,仅仅有类似Zuul这样的「面向接入」的运行期框架是远远不够的,因为一个完整的、「面向接入」的API GW需要包含以下功能:

面向运行期

• 对客户端实现身份认证

• 通信会话的秘钥协商,报文的加密与解密

• 日常流控与应急屏蔽

• 内部响应报文的场景化裁剪

• 支持「前正后反模型」的集成框架

• 报文格式的转换

• 业务路由的支撑

• 客户端优先的超时机制

• 全局流水号的生成与应用

• 面向客户端支持HTTP DNS /Direct IP

面向开发期

• 自助的沙盒测试环境

• 面向客户端友好的SDK/Library以及示例

• 能够根据后端代码直接生成客户端业务代码框架

• 完善的报文描述能力(元数据),支撑配置型的报文裁剪

面向运维与运营

• 支持面向接入方的独立部署与快速水平扩展

• 面向业务场景或合作伙伴的自助API开通

• 对外接口性能与线上环境故障定位自助平台