1.3 H.266/VVC简介
1.3.1 标准化历程
近年来,随着高清、超高清视频应用逐步走进人们的视野,视频编码技术受到了巨大的挑战。此外,各式各样的视频应用也随着网络技术、视频采集处理技术和存储技术的发展不断涌现。如今,数字视频广播、视频会议会话、短视频、沉浸式视频体验、远程监测、医学成像和便携摄影等,都已走进人们的生活。同时,由于远程办公的兴起,在视频会议场景中更多时候需要对屏幕内容(PPT、文档、表格等)进行分享。因此,视频应用的多样化和高清化趋势对视频编码性能提出了更高的要求。为此,2015年10月VCEG和MPEG再次组建联合视频探索小组(Joint Video Exploration Team, JVET),评估可用的压缩技术并研究下一代视频编码标准的要求,开发了JEM(Joint Exploration Model)参考平台,为新一代视频编码标准H.266/VVC的研发和制定做准备。
2015年10月至2017年7月,针对标准动态范围(Standard Dynamic Range, SDR)视频,多项编码工具和技术提案被评估,JEM经历了7个版本的不断演进。
2016年10月至2017年10月,为支持AR和VR等新兴视频应用,JVET研究了针对360度全景视频的编码技术。JVET对全景视频的前后处理、编解码和质量评估等重要技术开展了系统性研究,建立了360Lib参考软件平台。
2017年10月,ITU-T VCEG和ISO/IEC MPEG正式共同发布了新一代视频编码标准的技术征求书(Joint Call for Proposals)。新一代视频编码标准的目标不仅是业界广泛使用的SDR视频,还包括4K到16K超高分辨率视频、高动态范围(High Dynamic Range, HDR)视频、360度全景视频、屏幕内容视频等。新一代视频编码标准的性能目标是,在相同的感知质量下编码效率提高30%~50%。
在2018年4月召开的圣地亚哥会议上,JVET共收到来自世界各地32家单位提交的23份提案(Response to Joint Call for Proposals),其中性能最高提案相比H.265/HEVC的参考软件(HM)可以提升40%以上的编码效率,充分证明下一代标准的编解码技术已经成熟。在这次会议上,JVET将下一代标准命名为通用视频编码(Versatile Video Coding, VVC;其中Versatile也有多功能的意思),并建立了第一版VVC测试模型(VVC Test Model)VTM-1.0,正式开启了VVC新标准的制定。
从2018年4月到2020年7月,JVET委员会共召开了10次会议,激烈讨论了6000多份技术提案,对提出的编码工具进行集中测试,陆续采纳多项编码工具,VTM编码性能获得了较大幅度的提升。2019年7月,JVET发布了委员会草案(Committee Draft, CD),确定VVC的主体编码框架和编码工具。2019年10月,JVET发布了国际标准草案(Draft International Standard, DIS),标准进入关键阶段。
2020年7月1日,第19次JVET会议在线上落下帷幕,新一代国际视频编码标准VVC第一版(Versatile Video Coding Version 1)在这次会议上正式定稿。随后,ITU-T的SG16(Study Group 16)批准VVC标准,并正式定名为ITU-T H.266,ISO/IEC批准VVC成为ISO/IEC 23090-3 FDIS(Final Draft International Standard),并正式启动各个国家最后的投票过程。至此,H.266/VVC标准正式形成。
与已有视频编码标准相比,H.266/VVC标准考虑了更多样的视频格式和内容,旨在为已有和新兴的视频应用提供更加强大的压缩性能及更加灵活易用的功能。例如,采用专用编码工具编码计算机生成内容的视频和全景视频,采用渐进解码刷新技术避免超低时延视频流中码率波动,采用参考帧重采样技术为自适应视频流提供灵活的空间分辨率变化,采用多层编码机制提供了时域、空间域及质量域的可分级能力,等等。
H.266/VVC标准具有优秀的编码性能,在同样峰值信噪比(Peak Signal to Noise Ratio, PSNR)条件下,H.266/VVC标准的性能相比H.265/HEVC标准能够平均节省大约50%的码率[28]。H.266/VVC在制定过程中,不仅追求卓越的压缩性能,也兼顾编解码的计算复杂度。相比H.265/HEVC标准,H.266/VVC标准解码复杂度不超过2倍,编码复杂度与压缩性能基本保持正比关系。