科技峰会丨腾讯杰出科学家刘杉：通过沉浸式媒体技术实现虚实融合，是未来颠覆性趋势之一

21世纪经济报道记者白杨 北京报道
9月23日，由南方财经全媒体集团旗下《21世纪经济报道》主办的“2022年度21世纪科技峰会”正式召开。会上，腾讯杰出科学家、腾讯多媒体实验室负责人、腾讯云副总裁，IEEE Fellow 刘杉围绕“多媒体技术、标准与应用”的话题进行了主题演讲。
刘杉表示，随着科学技术的迅速发展，人们已经不满足于只是观看传统二维视频，而是渴望更真实、更具沉浸感的体验。所以，通过沉浸式媒体技术来实现物理世界和虚拟世界的融合共生，也被认为是改变未来生活和工作方式的颠覆性趋势之一。
近几年，以VR为代表的沉浸式媒体内容市场显著增长，应用领域也越来越广泛。预计到2025年，沉浸式媒体市场规模可以发展到约1600亿美元，更多的公司和厂家也正在加大对沉浸式媒体技术的研发和生产的投入。
刘杉指出，更深度的沉浸式体验主要体现在真实场景的六自由度、更清晰和流畅的内容显示、多通道交互等方面，依赖VR、AR、点云等核心技术，通过手机、电脑、头戴式、大屏等不同设备进行最终呈现。
一个高质量高效率的互动沉浸式系统，包含了从采集、处理、建模、压缩、传输到解压缩、渲染和交互等多个技术模块，又因为沉浸式媒体内容的数据量比传统的高清超高清视频庞大许多，如何将所有这些技术模块有效结合、综合优化，对于提供优质的端到端体验就更为重要和关键。
此外，刘杉表示，点云是沉浸式领域又一项具有代表性的技术，近两年也正在得到更多的关注。点云端到端系统包括了点云数据的处理、压缩、模型重建和渲染互动等技术模块。
由于点云是采用三维空间点阵的方式来表达真实的物体和场景，可想而知，构建一个高精度的点云模型所需要的数据量是非常巨大的，因而点云数据压缩也是点云系统中不可缺少的一个环节。
刘杉表示，腾讯多媒体实验室于2018年开始投入VR系统建设，在2019年有了第一个 VR应用落地案例。今年又对VR 360全景视听系统进行了一系列的功能升级，大幅度降低带宽和延时，配合多视角投影转换，达到了丰富优质的视觉体验。
同时，腾讯多媒体实验室自研的点云系统可以通过视频、图片等信息进行三维物体和空间重建，可以用于博物馆、办公室等场景。
据刘杉介绍，腾讯多媒体实验室在性质上主要分为两个大方向，一个是多媒体及相关领域的前沿技术探索和标准制定，第二个是多媒体及相关领域的应用技术研发和产品化。
关于标准制定，刘杉称，广义上标准可以拉通和促进全球的技术和产业生态，同时，优质的标准核心技术在构建知识产权和技术壁垒等方面也尤为重要。
比如近年来随着沉浸式媒体应用的兴起，国内外标准化组织也相应展开了一系列相关的技术标准制定，以便更好的支持和推动相关领域的技术和产业发展。
当前，约有80%的互联网流量来自于视频，而所有这些视频内容都是以压缩的形式传播的，所以视频压缩及视频编解码是数字时代视频应用的一个重要组成部分。
过去几十年里，全球很多企业和研究机构都投入了巨大的资源，研发了许多视频编解码技术，并形成了几代视频编辑码标准。在最新一代的视频编解码国际标准的制定中，中国公司也深度参与其中。
另外，刘杉提到，近年来基于数据驱动和深度学习的方法在计算机视觉等相关领域取得了突破性的进步，这些方法也被引入到多媒体数据压缩的领域中，并且取得了一些可喜的进展。
国内外的一些主流标准化组织也相继成立了相关的专题研究组，针对基于深度学习的多媒体数据压缩进行标准制定的探索。
这些技术的探索，也在业务场景中发挥了作用。刘杉称，在视频编解码方面，从去年到今年，腾讯多媒体实验室持续为腾讯各个业务和产品提供核心技术和工程优化。
比如优化的云游戏编码引擎，实现了CPU内存占用率降低30%，并可节省10%~20%的带宽成本。
此外刘杉还表示，在万物互联的5G时代，媒体的智能化已经成为不可阻挡的趋势和发展方向。媒体的形式多种多样，比如视频、图片、文字、音乐等等，而通过打造一个智慧融合媒体服务平台，将能够让这些媒体形式互联互通起来。