HarmonyOS 鸿蒙Next虚拟现实需要多少网络带宽
HarmonyOS 鸿蒙Next虚拟现实需要多少网络带宽
啥业务能作为5G网络的杀手业务? 大家讨论来讨论去最后结论都是虚拟现实: 虚拟现实视频/游戏类的场景要求高带宽/低时延/多并发, 和5G网络的特点吻合, 业务本身体验很好, 能被更广泛的人所理解易于解释. 尤其是针对消费者的头盔显示形式的VR终端, 成本低容易起量, 比那些大屏的VR方案能更快普及,产生实质性的带宽拉动.
那么, 究竟虚拟现实业务能消耗多大的网络带宽? 有没有计算公式?
好多人问我这个问题, 其实这不是一个简单的事情, 首先虚拟现实不是个单一业务, 而且这些业务还远远没有发展成熟, 虚拟现实的终极目标是创建一个无限接近真实的体验环境, 那么人类所能感知到的现实环境有多少信息那就是虚拟显示业务所需带宽的极限, 不仅仅是视觉, 还有听觉, 嗅觉, 触觉等等等等. 当然这都是废话, 没有实际意义.
所以我们计算这个网络带宽的时候, 现实一点的方法就是要做很多的限定: 针对某一种现有业务，判断短期内所能达到的理想状态，这个理想状态的概念是要能够让大多数人满意（包括体验还有成本）并快速起量，满足这个理想状态需要的带宽才有实际意义和用途．
理解了这个道理，我们就可以算一下了．
全景视频业务需要多少带宽？
什么是全景视频业务的理想状态？ 这个不好讲，一旦涉及内容了就很难做出准确判断，如果是成人内容，就算分辨率再低也能迅速的起量；如果是新闻联播，就算视网膜的分辨率也很少有人愿意花钱看．所以我们要给出一些共性的限制条件．
假设在２～３年之内，虚拟现实的显示技术不会有本质性的变化，利用手机屏幕做VR的显示还是成本最低廉最容易起量的方式，那么按现在的尿性来看，这个时间段内4K分辨率800~1000PPI的屏幕量产并达到消费者喜闻乐见的程度还是可以期待的（Sony Z5 4K屏幕已经出来了，806PPI）, 那么假设手机屏幕分辨率为4K(3840x2160)，做左右分屏结构并且没有太多像素浪费的话，我单眼所能看到的就是一个近似2Kx2K(1920x2160)的矩形区域(实际上由于各种原因浪费的像素很多，一般达不到这个值)．
这只是屏幕分辨率而已，并不是全景视频的分辨率，常见的全景视频是一个球面展开后的2:1比例矩形视频（见下图），如果我头盔的视场角只有90~100度左右的话，我单位时间只能看到这个视频的六分之一或八分之一的一个局部区域，按上述的屏幕分辨率，得到全景视频的理想分辨就在6Kx4K或者8Kx4K, 后者符合2:1的比例选后者．如果是3D全景视频，那么就是8Kx8K的视频（上下格式）或者16Kx4K的格式（左右格式）．刷新率由于OpenGL标准最高渲染帧率为60帧，短期内视频帧率也保证在６０帧比较合适．
那么按现在技术的发展趋势，假设4K手机屏幕被大量应用在VR终端领域，且8K＠60fps的H.265解码被大量使用，我们可以得到一个可操作的全景视频规格：8Kx2@60fps，这个是２～３年内有希望大规模普及的．
由于全景视频对细节表达要求很高（相当于放大了６～10倍看），压缩时不能选择压缩率过高的码率，笔者之前测试过４K H.264的２Ｄ全景视频，每秒１５帧，码率到100Mbps时才有比较好的细节表现能力(见下图)．
８Ｋ视频究竟在多少压缩率下细节表现才能符合要求？ 按照H.265 0.3bit/pix计算，压缩率大概是40～120倍(感谢编码专家林四新提供的数据), 考虑到上文提到的, 细节对于VR体验的重要性, 选取40倍压缩率比较保险,强调下这还需要经过测试.
有了这些条件约束, 我们就能够计算得到高质量的全景视频业务的理想带宽消耗: 3D的8K视频码流, 帧率60fps, 压缩率40, 4:2:0的YUV格式, 10bit色深, 视频本身的码率:
2x7680x4320x3/2x10x60/1024/1024/1024/40=1.423Gbps
另外与海思专家黄镇伟的讨论中得知, 我司对于视频运营级别最小带宽的定义是: 恒定码率x1.3(直播)~1.5(点播),乘上这个系数后,得到实际运营时的码率应为: 1.851~2.136Gbps．这就是推算出的２～３年内理想情况下高质量ＶＲ视频业务的带宽要求．
和已有的VR全景视频体验相比, 我们可以把全景视频体验划分成以下四个档次:
1) 基础VR体验我是找的Google Youtube 360视频的极限值做为对比, 它是以2K视频为主打,结合Cardboard VR眼镜盒满足大众消费体验(其中压缩比是按已有码率做的推断);
2) 良好VR体验我选择了三星的VR视频服务MILK VR, 他面向的是GearVR用户, 利用Project Beyond全景相机拍摄最高4K分辨率的2D和3D全景视频, 面向的是三星手机用户,是目前移动VR的极限体验;
3) 我上面给出的指标被我列在了理想VR体验中, 目前还没人能做到这一点, 但是核心技术实际上都已经Ready,今明两年内To B业务商用可以期待, To C业务估计要到2018~2020年才会普及;
4) 极致的VR体验, 说实话我真的不知道会是什么样的,只列了一些猜测的指标, 实际上变数很大.
而现在国内能看到的那些在线全景视频体验,说实话连基础的标准都难以达到.
现网条件提高全景视频体验有那些方法？
上面的带宽消耗让人菊花一紧，虽然前景是光明的，但是现实总还是要兼顾，我们怎样才能在现有渣网络的情况下提高体验？这是所有做VR产品的人关心的现实问题．解决这些问题的方法可以从三个角度考虑：
１）ＶＲ视频编码：从源头入手，提高视频编码效率，保证视频编码质量的前提下降低码率
编码向来是兵家必争之地，VR视频编码还沿袭了传统普通视频的编码方案（球面矩形展开后按普通视频编码），这必然会导致编码效率下降，原因如下：首先，球面的矩形展开本身会导致冗余像素的产生（顶端的一个像素展开成一行），比例为ｐｉ／２倍，也就是说由于这种展开导致了需要多编码接近５０％的像素；再次，编码矩形展开图像全景视频没有边界的概念，按传统帧内预测方法在边缘区域找不到最优解；最后，由于视频中的有较大的畸变，越往两极方向畸变越明显，按传统依据刚体运动的帧间预测算法和运动矢量估计将失效，总之一句话：按照原有的预测方案，块与块，帧与帧之间的相关性大大降低，残差增大，导致压缩效率劣化严重，再算上展开时增加的冗余，是有极大的提升空间的．下图是我去年在VR视频Deepdive上提出的讨论议题
目前国内的视频标准IEEE 1857 AVS组正在展开相关的讨论，可惜大家还是从各自利益考虑希望做些小改动，但实际上未来这块是有大机会的，北大已经实验出提高３０％的压缩效率的全景视频编码器，而实际可以提升的还远不止于此．
２）ＶＲ视频后处理：从后端入手，通过图像后处理，在现有码率情况下提高视频主观体验
编解码是标准，是一件大事，进展不会那么快．那么在现有的条件下，我们还能做那些事情来提升主观体验？其实很多图像后处理算法（ＨＤＲ／超分辨／倍频）是可以提升图像质量和细节表现的，而这些后处理算法与编码传输无关．针对全景视频的后处理，有一些利用现有算法就好；而有一些则和帧间相关性有很大关系，那样与编码一样，需要针对全景视频的特点进行优化．
３）ＶＲ智能传输：从管道入手，利用ＶＲ视频交互特性，在保证主观体验的前提下降低带宽消耗
一个最容易想到的是：我每次只看到全景视频的一部分而已，我干吗要全部传输呢？只传我看到的部分不就好了？这个说起来容易，其实做起来有很多的困难：首先我要能让远端知道我＂当前＂所看到的区域，这个区域是随着人头部的转动而实时变化的，如果网络没有极低的传输时延，获取到的显示区域就会与我头部实际所处的位置产生差异，这种差异就是导致ＶＲ眩晕症的最大原因之一．我们在本地降低这个时延都十分困难，再把网络的时延考虑进来，体验就更加难以保证，所以在先网条件下实现这样的设计是很困难的．不过好在５Ｇ网络在时延方面的要求很高，为实现这样的设计提供了可能性．
还有哪些变数？
预测一件事情是很难的，尤其是在它高速发展的过程中，拥有了太多的未知变量，每一个变量发生改变，都会对结果产生重大的影响．
首先全景视频的表现方法也不仅仅是球面展开这一种，Facebook 提出的棱型展开就是一个很好的例子（如下图），它可以显著降低场景模型的定点数（很多文章说可以降低码率，这个不靠谱）．
再次就是ＶＲ视频也远远不仅仅是全景视频那么简单，它还包括了人物／物体／情节等多种可交互的元素，未来的ＶＲ视频可能更类似于游戏，而不仅仅是一段从头播到尾的视频，这所带来的带宽消耗更加无法估计．
再有就是一开始的那个假设：２～３年内，ＶＲ的显示技术真的不会有本质性的变化吗？这个我后面会开个专题专门讨论这个事情，MagicLeap在这方面的产出可能会超出所有人的想象．
但是不管怎样，就算是全景视频的带宽需求也远远超过了现有网络带宽能力，更别提全景视频可能是所有ＶＲ业务中数据量最少的一种，所以用ＶＲ来撑大网络带宽的消耗，目前来看还是最靠谱的．
啥业务能作为5G网络的杀手业务? 大家讨论来讨论去最后结论都是虚拟现实: 虚拟现实视频/游戏类的场景要求高带宽/低时延/多并发, 和5G网络的特点吻合, 业务本身体验很好, 能被更广泛的人所理解易于解释. 尤其是针对消费者的头盔显示形式的VR终端, 成本低容易起量, 比那些大屏的VR方案能更快普及,产生实质性的带宽拉动.
那么, 究竟虚拟现实业务能消耗多大的网络带宽? 有没有计算公式?
好多人问我这个问题, 其实这不是一个简单的事情, 首先虚拟现实不是个单一业务, 而且这些业务还远远没有发展成熟, 虚拟现实的终极目标是创建一个无限接近真实的体验环境, 那么人类所能感知到的现实环境有多少信息那就是虚拟显示业务所需带宽的极限, 不仅仅是视觉, 还有听觉, 嗅觉, 触觉等等等等. 当然这都是废话, 没有实际意义.
所以我们计算这个网络带宽的时候, 现实一点的方法就是要做很多的限定: 针对某一种现有业务，判断短期内所能达到的理想状态，这个理想状态的概念是要能够让大多数人满意（包括体验还有成本）并快速起量，满足这个理想状态需要的带宽才有实际意义和用途．
理解了这个道理，我们就可以算一下了．
全景视频业务需要多少带宽？
什么是全景视频业务的理想状态？ 这个不好讲，一旦涉及内容了就很难做出准确判断，如果是成人内容，就算分辨率再低也能迅速的起量；如果是新闻联播，就算视网膜的分辨率也很少有人愿意花钱看．所以我们要给出一些共性的限制条件．
假设在２～３年之内，虚拟现实的显示技术不会有本质性的变化，利用手机屏幕做VR的显示还是成本最低廉最容易起量的方式，那么按现在的尿性来看，这个时间段内4K分辨率800~1000PPI的屏幕量产并达到消费者喜闻乐见的程度还是可以期待的（Sony Z5 4K屏幕已经出来了，806PPI）, 那么假设手机屏幕分辨率为4K(3840x2160)，做左右分屏结构并且没有太多像素浪费的话，我单眼所能看到的就是一个近似2Kx2K(1920x2160)的矩形区域(实际上由于各种原因浪费的像素很多，一般达不到这个值)．
这只是屏幕分辨率而已，并不是全景视频的分辨率，常见的全景视频是一个球面展开后的2:1比例矩形视频（见下图），如果我头盔的视场角只有90~100度左右的话，我单位时间只能看到这个视频的六分之一或八分之一的一个局部区域，按上述的屏幕分辨率，得到全景视频的理想分辨就在6Kx4K或者8Kx4K, 后者符合2:1的比例选后者．如果是3D全景视频，那么就是8Kx8K的视频（上下格式）或者16Kx4K的格式（左右格式）．刷新率由于OpenGL标准最高渲染帧率为60帧，短期内视频帧率也保证在６０帧比较合适．
那么按现在技术的发展趋势，假设4K手机屏幕被大量应用在VR终端领域，且8K＠60fps的H.265解码被大量使用，我们可以得到一个可操作的全景视频规格：8Kx2[@60fps](/user/60fps)，这个是２～３年内有希望大规模普及的．
由于全景视频对细节表达要求很高（相当于放大了６～10倍看），压缩时不能选择压缩率过高的码率，笔者之前测试过４K H.264的２Ｄ全景视频，每秒１５帧，码率到100Mbps时才有比较好的细节表现能力(见下图)．
８Ｋ视频究竟在多少压缩率下细节表现才能符合要求？ 按照H.265 0.3bit/pix计算，压缩率大概是40～120倍(感谢编码专家林四新提供的数据), 考虑到上文提到的, 细节对于VR体验的重要性, 选取40倍压缩率比较保险,强调下这还需要经过测试.
有了这些条件约束, 我们就能够计算得到高质量的全景视频业务的理想带宽消耗: 3D的8K视频码流, 帧率60fps, 压缩率40, 4:2:0的YUV格式, 10bit色深, 视频本身的码率:
2x7680x4320x3/2x10x60/1024/1024/1024/40=1.423Gbps
另外与海思专家黄镇伟的讨论中得知, 我司对于视频运营级别最小带宽的定义是: 恒定码率x1.3(直播)~1.5(点播),乘上这个系数后,得到实际运营时的码率应为: 1.851~2.136Gbps．这就是推算出的２～３年内理想情况下高质量ＶＲ视频业务的带宽要求．
和已有的VR全景视频体验相比, 我们可以把全景视频体验划分成以下四个档次:
1) 基础VR体验我是找的Google Youtube 360视频的极限值做为对比, 它是以2K视频为主打,结合Cardboard VR眼镜盒满足大众消费体验(其中压缩比是按已有码率做的推断);
2) 良好VR体验我选择了三星的VR视频服务MILK VR, 他面向的是GearVR用户, 利用Project Beyond全景相机拍摄最高4K分辨率的2D和3D全景视频, 面向的是三星手机用户,是目前移动VR的极限体验;
3) 我上面给出的指标被我列在了理想VR体验中, 目前还没人能做到这一点, 但是核心技术实际上都已经Ready,今明两年内To B业务商用可以期待, To C业务估计要到2018~2020年才会普及;
4) 极致的VR体验, 说实话我真的不知道会是什么样的,只列了一些猜测的指标, 实际上变数很大.
而现在国内能看到的那些在线全景视频体验,说实话连基础的标准都难以达到.
现网条件提高全景视频体验有那些方法？
上面的带宽消耗让人菊花一紧，虽然前景是光明的，但是现实总还是要兼顾，我们怎样才能在现有渣网络的情况下提高体验？这是所有做VR产品的人关心的现实问题．解决这些问题的方法可以从三个角度考虑：
１）ＶＲ视频编码：从源头入手，提高视频编码效率，保证视频编码质量的前提下降低码率
编码向来是兵家必争之地，VR视频编码还沿袭了传统普通视频的编码方案（球面矩形展开后按普通视频编码），这必然会导致编码效率下降，原因如下：首先，球面的矩形展开本身会导致冗余像素的产生（顶端的一个像素展开成一行），比例为ｐｉ／２倍，也就是说由于这种展开导致了需要多编码接近５０％的像素；再次，编码矩形展开图像全景视频没有边界的概念，按传统帧内预测方法在边缘区域找不到最优解；最后，由于视频中的有较大的畸变，越往两极方向畸变越明显，按传统依据刚体运动的帧间预测算法和运动矢量估计将失效，总之一句话：按照原有的预测方案，块与块，帧与帧之间的相关性大大降低，残差增大，导致压缩效率劣化严重，再算上展开时增加的冗余，是有极大的提升空间的．下图是我去年在VR视频Deepdive上提出的讨论议题
目前国内的视频标准IEEE 1857 AVS组正在展开相关的讨论，可惜大家还是从各自利益考虑希望做些小改动，但实际上未来这块是有大机会的，北大已经实验出提高３０％的压缩效率的全景视频编码器，而实际可以提升的还远不止于此．
２）ＶＲ视频后处理：从后端入手，通过图像后处理，在现有码率情况下提高视频主观体验
编解码是标准，是一件大事，进展不会那么快．那么在现有的条件下，我们还能做那些事情来提升主观体验？其实很多图像后处理算法（ＨＤＲ／超分辨／倍频）是可以提升图像质量和细节表现的，而这些后处理算法与编码传输无关．针对全景视频的后处理，有一些利用现有算法就好；而有一些则和帧间相关性有很大关系，那样与编码一样，需要针对全景视频的特点进行优化．
３）ＶＲ智能传输：从管道入手，利用ＶＲ视频交互特性，在保证主观体验的前提下降低带宽消耗
一个最容易想到的是：我每次只看到全景视频的一部分而已，我干吗要全部传输呢？只传我看到的部分不就好了？这个说起来容易，其实做起来有很多的困难：首先我要能让远端知道我＂当前＂所看到的区域，这个区域是随着人头部的转动而实时变化的，如果网络没有极低的传输时延，获取到的显示区域就会与我头部实际所处的位置产生差异，这种差异就是导致ＶＲ眩晕症的最大原因之一．我们在本地降低这个时延都十分困难，再把网络的时延考虑进来，体验就更加难以保证，所以在先网条件下实现这样的设计是很困难的．不过好在５Ｇ网络在时延方面的要求很高，为实现这样的设计提供了可能性．
还有哪些变数？
预测一件事情是很难的，尤其是在它高速发展的过程中，拥有了太多的未知变量，每一个变量发生改变，都会对结果产生重大的影响．
首先全景视频的表现方法也不仅仅是球面展开这一种，Facebook 提出的棱型展开就是一个很好的例子（如下图），它可以显著降低场景模型的定点数（很多文章说可以降低码率，这个不靠谱）．
再次就是ＶＲ视频也远远不仅仅是全景视频那么简单，它还包括了人物／物体／情节等多种可交互的元素，未来的ＶＲ视频可能更类似于游戏，而不仅仅是一段从头播到尾的视频，这所带来的带宽消耗更加无法估计．
再有就是一开始的那个假设：２～３年内，ＶＲ的显示技术真的不会有本质性的变化吗？这个我后面会开个专题专门讨论这个事情，MagicLeap在这方面的产出可能会超出所有人的想象．
但是不管怎样，就算是全景视频的带宽需求也远远超过了现有网络带宽能力，更别提全景视频可能是所有ＶＲ业务中数据量最少的一种，所以用ＶＲ来撑大网络带宽的消耗，目前来看还是最靠谱的．
作为IT专家，对于HarmonyOS 鸿蒙Next虚拟现实所需的网络带宽问题，需要明确的是，这并非一个单一且固定的数值。
虚拟现实业务的网络带宽需求受多种因素影响，包括视频分辨率、帧率、压缩率以及色彩深度等。而HarmonyOS 鸿蒙Next作为操作系统，其虚拟现实功能所需的网络带宽还需考虑系统优化、应用适配以及用户实际体验等因素。
在理想情况下，高质量的虚拟现实体验往往需要较高的网络带宽支持。然而，具体所需的带宽数值会因不同的虚拟现实应用、场景以及用户需求而有所差异。
因此，无法直接给出HarmonyOS 鸿蒙Next虚拟现实所需的网络带宽的具体数值。如果在实际应用中遇到带宽相关的问题，建议根据实际情况进行测试和调整，或参考专业网络测试工具和服务的结果。如果问题依旧没法解决请联系官网客服，官网地址是：https://www.itying.com/category-93-b0.html。
