超能课堂(224):120Hz刷新率的手机屏幕虽好,但还需要插帧技术来帮忙 - 超能网
E X P
本文约 3900 字,9 张图表,正努力加载…
  • 编辑
  • 评论
  • 标题
  • 链接
  • 查错
  • 图文
  • 拼 命 加 载 中 ...

    这两年,高刷新率屏幕除了在PC、笔记本端开始流行以外,在手机上也作为重要的卖点出现了,今年更是作为最新的流行趋势成为新一代热点,市场上不断涌现出屏幕刷新率为90Hz、120Hz的新手机。这块占据手机正面绝大比例的屏幕可以说是手机硬件的窗户,它直观地提供着更为流畅更为真实的画面,毫无疑问,高刷新率屏幕将会是未来手机的标配。而最近发布的Oppo Find X2 Pro和一加8系列手机上面除了将屏幕的刷新率提高到120Hz以外,还另外使用了名为MEMC的视频插帧技术,这是为什么呢?

    与观看现实景物不同的是,我们通过屏幕看到的并不是“毫无间隔”的连续景象,而其实是一帧帧画面。这些画面在极短的时间内迅速地显现、消失,通过视觉残留现象让人脑误以为是连贯的。一般而言,单位时间内人眼看到的连续帧越多,我们对影像的主观感受即为更真实更自然,这也是高刷新率屏幕提升用户体验的核心要点。

    举一个简单的例子,下面的这张动图很清晰地描述了不同帧率间的区别:


    图片来自于Game N Meme

    最左边以15fps运动的方块有明显的卡顿感,而最右边以60fps运动的方块则相当流畅。那这跟MEMC视频插帧技术有什么关系呢?我们平常看到的视频都是低帧率的吗?

    高刷新率的屏幕需要高帧率的内容

    是的,你答对了。我们平常看到的网络视频,或者是在电影院里看到的电影等等大多都是以24、25或30fps呈现的,少数内容会以60fps的形式出现,他们有什么区别呢?仔细观看下面这张动图中的篮球,是不是觉得最右边的篮球不管怎么动都很清晰,而最左边的在下落时是模糊的?对了,这就是高帧率视频最为直观的好处,即使视频内容中的主体在高速运动,它也能让你看清楚细节。


    图片来自于reneelab.com

    既然高帧率视频有这样的好处,那为什么我们现在的视频还都是24、25或30fps的呢?这是由历史原因造成的。

    回想一下你在各种地方见过的电影、电视剧或是各种家庭录像,是不是很少见到以60fps形式呈现的,尤其是电影,基本上全部都是24fps的。电影工业在上个世纪三十年代将拍摄与播放的帧率统一成了24fps,而后电视广播系统有的用25fps(PAL),有的用30fps(NTSC),这些上个时代的制作方式一直被保留了下来,虽然近期在影视行业内部也有不少换用高帧率制作的制作人和作品,但对于大局并没有产生太大的影响,未来很长一段时间内低帧率的影视内容仍然将占据绝对主流。

    跟随着影视行业脚步成长起来的网络视频和短视频制作行业自然也是遵从着前人们的经验,沿用着低帧率制作手法。但随着移动互联网以及智能设备的发展,内容与设备硬件能力之间的矛盾逐渐显现出来了:手机屏幕的刷新率已经往90Hz,甚至120Hz去了,而我们日常观看到的视频内容中只有少部分采用了60fps,大部分仍然停留在低帧率基准上,我们在观看视频时没能用上硬件的能力,岂不是有些浪费?

    原因还是像上面所说的,短时间内并不会有很多内容创作者切换去制作高帧率内容,而是逐渐地使用以高帧率为基准的制作手法,这将是一个相当漫长的过渡过程。在这个漫长的过渡期中,我们只好用一些过渡手段,比如说,我们自己来造高帧率的内容,怎么造呢?这时候就要请出在电视和PC上面已经有较为成熟应用的插帧技术,它可以对低帧率内容进行补充,让它“升级”成高帧率的。这项技术需要一定量的计算,可以由CPU做通用计算完成,也可以将计算任务交给专门的插帧芯片来处理,而随着半导体工艺的进步,专门的插帧芯片已经可以做进手机,于是,我们在今年看到了OPPO和一加将硬件插帧这套解决方案集成进新机型中,在手机端达成了对视频进行插帧这样的目标。

    插帧技术的简要原理

    说了那么多,我们还是简单地讲一讲插帧技术是什么,以及它的实现原理。插帧的意思就是往原本连贯的两帧图像之间插入新的帧,这个帧可以是重复之前帧的复制帧,可以是全黑的黑帧,也可以是通过计算得到的介于两帧之间的中间帧。插重复帧和插黑帧都是比较简单的插帧手法,两者都能解决视频帧率不够的问题,但是效果一般,其中前者比较常见,PC上有些视频播放器会自动在播放帧率不够60Hz的视频时插入复制帧以达成同步。而插黑帧则是在减少拖影,改善动态画面等方面有着更好的表现,但是会让显示器/电视牺牲掉一定的亮度。

    而最后一种插帧方法——插入中间帧——就需要通过计算来产生了,目前的中间帧一般都是通过运动预测与补偿(Motion Estimation/Motion Compensation)算法来计算得到的,它可以是对图像进行全局分析进行计算,也可以是先将图像进行分块然后再计算。

    如果有读过《超能课堂(220):数字视频编码的发展历程》的读者可能在这里就发现,诶这个运动预测与补偿很眼熟啊,不是在视频编码中大规模应用了吗?是的没错,插帧中的运动预测与补偿算法逻辑跟视频编码中所使用的算法有点像,常见的插帧算法同样是将画面分成一定大小的块,然后通过比对两帧之间的差异寻找出现运动的块,通过分析图像块的运动趋势,再辅以计算得到中间帧。

    1I

    2p
    这里拿了H.264编码的区块运动分析图做例子,上面是I帧,下面是相邻的P帧,P帧基于I帧做的运动分析

    比如我们拿自家的视频举个例子,这两帧是相邻的,补帧算法通过对画面进行分区块分析,得到了区块在两帧之间的运动趋势,在这里我们可以看到Sam的头部和手部的区块有较多描述区块运动的矢量箭头(下图),而画面其他位置的区块并没有发生明显的运动。那么针对这些发生了运动的区块,算法在明确了它们的运动距离和方向后就可以计算出在额外的中间帧上这些区块应该处于哪个位置,最终,我们便可以得到插入在原有两帧中间的额外帧,而重复这个过程,我们得到的视频帧率就是原来的两倍。

    插帧技术已经来到我们身边

    在登陆手机之前,插帧技术已经在我们身边的一些电子设备上面有应用了,其中效果比较好且比较常见的就是各种电视机,比如索尼在旗下电视机中引入的Motionflow技术就是其中的代表。


    图片来自于Sony

    从示意图上可以看到,Motionflow技术将插黑帧与插中间帧相结合,实现了将原本帧率为60fps的输入源插帧到240fps的特性。应用在电视机上面的插帧技术有效减少了拖影,提高了动态清晰度,提升了人们观影时的体验。现在很多电视机厂商都已经引入类似Motionflow的插帧技术了,比如国内的一些互联网电视品牌都将该技术作为一大卖点来宣传。

    而在PC端上面,插帧技术也早已被人们应用,甚至AMD直接将这类技术扶正,由qy700千亿国际硬件提供相关支持,也就是Fluid Motion Video。因为有官方的支持,它便利好用效果不错,被不少玩家所赞誉,可惜目前新一代的RDNA架构暂时还不支持该特性。还有像Smooth Video Project(SVP)这样的插帧软件,能够充分利用PC硬件算力对视频进行插帧。

    总而言之,对视频内容进行插帧的目的就是提高视频的流畅度,那么它是否能够让我们在看视频的时候体验到更为舒适的观感呢?

    那么,这些插帧技术能否有效提升我们的视觉体验呢?

    我们用几个例子对比一下低帧率视频与高帧率视频的区别(请切到最高画质观看),第一个是我之前使用Adobe Premiere Pro的光流法制作的60fps视频,原始视频的帧率为30fps。

    60fps版本:

    30fps版本:

    在上面的例子中,插帧技术的表现相当不错,原本帧率为30fps的动画PV在被插帧后显得流畅了很多,而且没有出现明显的瑕疵。

    我们再来看一个明基做的对比片段:

    前半部分由于镜头运动速度并不快,可能差异并不明显。但后面的滚动字幕则是有明显的差异,左边开启插帧的字幕表滚动非常平滑,没有明显的拖影,而右边没有插帧的字幕表在滚动时出现了较为明显的拖影。

    而在另一个例子中,你会在部分场景中看到明显的瑕疵。

    看完对比的同学应该会在60fps部分中看到了一些不自然的场景,这些场景中出现了伪影、撕裂等等瑕疵。是的,基于MEMC的插中间帧算法在高速运动场景或是复杂场景中的表现还不能说是完美,但在相对稳定的场景中,它能够带来较大的观感提升,比较明显的区别就是画面不再有明显的顿卡感。

    高帧率是星辰大海

    如果高帧率是星辰大海,那么插帧技术就是我们冲向这片大海的冲锋艇。由于影视行业的转向还很漫长,短时间内我们需要通过插帧的手段来“提前”感受高帧率视频的好处,除了传统的基于MEMC的插帧算法外,现在业界还在研究基于人工智能的插帧技术,以弥补传统插帧算法在复杂场景下会出现的缺陷问题,比如由上海交大Bao Wenbo博士等人研发出来的DAIN(Depth-Aware Video Frame Interpolation)插帧算法就利用上了神经网络。


    Depth-Aware视频插帧算法的神经网络架构

    这些新的由深度学习提供支持的算法已经得到了广泛的应用,上至百年前的电影,下至近几年的新片,它都能够很好地应对,比如我们之前就介绍过有人将百年前的《火车进站》插帧至60fps,其中使用的正是上面介绍过的DAIN算法,其实际效果还是相当优秀的。

    高帧率俨然已经成为时代新声,不管是高刷新率屏幕还是高帧率内容,都是人们在追求的新鲜玩意儿。在这个天天对着屏幕看的数字时代,高帧率应用直接有效地提升着我们使用设备时的体感,让眼睛看到的景象更为自然合理。原本我们在电视或PC端才能够体验到由插帧技术补足的视频内容,现在随着硬件插帧功能被手机集成,我们在手机端也能够享受到它在视觉体验上面带来的巨大提升,每时每刻都可以体验到60帧甚至120帧的影视内容,可以说是大大降低了体验高帧率内容的门槛,让那块高刷新率屏幕物有所值。

    毫无疑问,插帧技术走入手机是一件好事,因为好的技术需要被大范围的推广开来为普通用户所知,才能成为真正优秀的技术。如果说之前的插帧技术是小众玩物的话,那么在手机厂商的推动下,它有望变成一项大众技术,被更多人感知到,在视觉层面上提供更好的体验,受益的,是每天都要用手机进行娱乐的我们。同时,插帧技术的流行也能够让更多内容创作者选择制作原生高帧率的内容来满足新时代用户们的新需求。

  • ×
    热门文章
    1宏碁发布Predator和Nitro系列显示器新品,涵盖24.5到34寸的多种选择
    2超能课堂(248):热管散热器应该怎么装?
    3AMD移动处理器线路图:Rembrandt将采用Zen3+RDNA2,支持PCIe 4.0和USB4
    4AMD可能推出专用矿卡,基于Navi 10芯片打造
    5NASA正与诺基亚合作,将在月球部署4G移动网络
    6Xbox Series X/S自动HDR模式详细测试公开:大多数SDR游戏获得更佳体验
    7全球首颗5纳米5G SoC麒麟9000:或将成为华为最后的骄傲
    8Intel公布2020财年Q3财报:总营收高于预期,PC业务同比上涨1%
    9七彩虹ProMaster A1设计师电脑评测:RTX 3080加持 生产力大提升
    已有 20 条评论,每一条合规评论都是对我们的褒奖。
  • 倪嘉声博士 04-20 10:59  加入黑名单

    游客

    插帧是否像插黑帧那样闪烁伤眼呢?即便是每秒插240帧黑帧也很伤眼。
    04-20 10:53 已有1次举报
  • 支持(0)  |   反对(1)  |   举报  |   回复
  • 不会的

    已有2次举报

    支持(0)  |   反对(0)  |   举报  |   回复

    21#

  • 游客 04-20 10:53

    插帧是否像插黑帧那样闪烁伤眼呢?即便是每秒插240帧黑帧也很伤眼。

    已有1次举报

    支持(0)  |   反对(1)  |   举报  |   回复

    20#

  • Suffer大学生 04-18 23:24  加入黑名单

    高码率高帧数 即使是h.265视频文件也一个个大的飞起

    已有1次举报

    支持(0)  |   反对(0)  |   举报  |   回复

    19#

  • yjhercules终极杀人王 04-17 10:36  加入黑名单

    该评论因举报过多,自动进入审核状态。

    17#

  • 游客 04-17 01:44

    游客

    对于电影,24P+动态模糊够了。
    04-17 01:41 已有1次举报
  • 支持(3)  |   反对(5)  |   举报  |   回复
  • 自己补充,120Hz的意义在于它是24Hz的整数倍,播放时不会有pulldown问题。

    已有1次举报

    支持(3)  |   反对(0)  |   举报  |   回复

    16#

  • 游客 04-17 01:41

    对于电影,24P+动态模糊够了。

    已有1次举报

    支持(3)  |   反对(5)  |   举报  |   回复

    15#

  • QQ23870862终极杀人王 04-16 22:32  加入黑名单

    该评论因举报过多,自动进入审核状态。

    14#

  • 游客 04-16 21:20

    倪嘉声 博士

    得开最高画质(需要大会员
    04-16 20:30 已有1次举报
  • 支持(3)  |   反对(0)  |   举报  |   回复
  • 可是不用开60fps,光30fps就已经有明显区别了呀。感觉区别有点做作。。。

    已有1次举报

    支持(2)  |   反对(0)  |   举报  |   回复

    13#

  • 倪嘉声博士 04-16 20:30  加入黑名单

    游客

    引援b站的视频感觉有点问题,视频信息显示视频是是30fps的。。。插帧搞到手机上我个人是觉得徒增功耗,用手机看视频有那么高要求不成,要续航啊。。。不过oled屏的标称平均响应时间 ...
    04-16 20:21 已有1次举报
  • 支持(2)  |   反对(0)  |   举报  |   回复
  • 得开最高画质(需要大会员

    已有1次举报

    支持(3)  |   反对(0)  |   举报  |   回复

    12#

  • 游客 04-16 20:21

    引援b站的视频感觉有点问题,视频信息显示视频是是30fps的。。。插帧搞到手机上我个人是觉得徒增功耗,用手机看视频有那么高要求不成,要续航啊。。。不过oled屏的标称平均响应时间 ...

    已有1次举报

    支持(2)  |   反对(0)  |   举报  |   回复

    11#

  • 游客 04-16 19:09

    yjhercules 终极杀人王

    该评论因举报过多,自动进入审核状态。

    文章谈虚拟插帧不是谈倍线,你写的什么牛头不对马嘴

    支持(5)  |   反对(0)  |   举报  |   回复

    10#

  • Rio一代宗师 04-16 18:42  加入黑名单

    看过双子杀手和比利林恩的60fps版本,真的是超级赞!可惜没看到120fps的,早前下TNT的720P60P NBA比赛也是爽的不行

    支持(1)  |   反对(0)  |   举报  |   回复

    9#

  • 游客 04-16 18:33

    音乐系魔法使 博士

    哇,不对,我一开始没说错,是120hz屏幕。
    04-16 14:46
  • 支持(0)  |   反对(0)  |   举报  |   回复
  • 插黑帧并不能算提高了帧率吧,虽然可以让运动画面更流畅

    支持(0)  |   反对(0)  |   举报  |   回复

    8#

  • tdn0102教授 04-16 17:18  加入黑名单

    音乐系魔法使 博士

    哇,不对,我一开始没说错,是120hz屏幕。
    04-16 14:46
  • 支持(0)  |   反对(0)  |   举报  |   回复
  • 自问自答(x

    支持(0)  |   反对(0)  |   举报  |   回复

    7#

  • Mr.Blackcat博士 04-16 17:07  加入黑名单

    想知道安卓手机上除了性能狗还有什么方法可以实时监测app的fps?

    支持(0)  |   反对(0)  |   举报  |   回复

    6#

  • 游客 04-16 14:56

    看过60帧的双子杀手感觉并没有24帧舒服,过于真实让打斗变得很慢。

    支持(1)  |   反对(2)  |   举报  |   回复

    5#

  • yjhercules终极杀人王 04-16 14:48  加入黑名单

    该评论因举报过多,自动进入审核状态。

    4#

  • 音乐系魔法使博士 04-16 14:46  加入黑名单

    音乐系魔法使 博士

    不对,索尼的那段我说错了,是根据输入来算的,如果输入是24hz,24hz生成中间帧到60hz,然后60hz插黑帧变成240hz,索尼是240hz的屏幕。如果输入是60hz,就插中间帧到120hz,插黑帧变成240hz。
    04-16 14:44 已有1次举报
  • 支持(0)  |   反对(0)  |   举报  |   回复
  • 哇,不对,我一开始没说错,是120hz屏幕。

    支持(0)  |   反对(0)  |   举报  |   回复

    3#

  • 音乐系魔法使博士 04-16 14:44  加入黑名单

    音乐系魔法使 博士

    我觉得生成中间帧技术才是插帧,等于flash,做了一头一尾,软件生成中间的动画。插黑帧其实不算插帧,只是等于把60hz的屏幕插到30帧一样,主要是消除拖影和残像....索尼电视是两个都用上了,索尼电视是30hz生成中间帧到60hz,然后60hz插黑帧变成120hz。索尼电视支持最大输入是60hz,但是面板是120hz。SVP是纯的生成中间帧的软件,国产电视基本都是插黑帧。至于手机的MEMC,我没用过,按照电量云评测,估计只是插黑帧。
    04-16 14:41
  • 支持(0)  |   反对(0)  |   举报  |   回复
  • 不对,索尼的那段我说错了,是根据输入来算的,如果输入是24hz,24hz生成中间帧到60hz,然后60hz插黑帧变成240hz,索尼是240hz的屏幕。如果输入是60hz,就插中间帧到120hz,插黑帧变成240hz。

    已有1次举报

    支持(0)  |   反对(0)  |   举报  |   回复

    2#

  • 音乐系魔法使博士 04-16 14:41  加入黑名单

    我觉得生成中间帧技术才是插帧,等于flash,做了一头一尾,软件生成中间的动画。插黑帧其实不算插帧,只是等于把60hz的屏幕插到30帧一样,主要是消除拖影和残像....索尼电视是两个都用上了,索尼电视是30hz生成中间帧到60hz,然后60hz插黑帧变成120hz。索尼电视支持最大输入是60hz,但是面板是120hz。SVP是纯的生成中间帧的软件,国产电视基本都是插黑帧。至于手机的MEMC,我没用过,按照电量云评测,估计只是插黑帧。

    支持(0)  |   反对(0)  |   举报  |   回复

    1#

  • 提示:本页有 3 个评论因未通过审核而被隐藏

    我来评论
    为你推荐
  • 为什么充电时需要一条好的数据线?

    发布于 2020-02-25
    收藏 | 评论(25)
  • 超能课堂:Android 11深度解析

    发布于 2020-03-30
    收藏 | 评论(22)
  • 手机屏幕为啥做着做着就多了个缺口?

    发布于 2020-07-21
    收藏 | 评论(25)
  • 魅族17 5G手机评测

    发布于 2020-07-21
    收藏 | 评论(21)
  • AMD锐龙TR 3990X处理器评测

    发布于 2020-04-20
    收藏 | 评论(25)
  • 魅族16T手机评测

    发布于 2019-10-28
    收藏 | 评论(27)
  • 超能课堂:为什么现在没有手机万能充了?

    发布于 2020-07-21
    收藏 | 评论(32)
  • 超能课堂:手机那么多摄像头有什么用?

    发布于 2020-04-20
    收藏 | 评论(23)
  • 最全骁龙865手机解读

    发布于 2020-03-30
    收藏 | 评论(40)