2016年4月1日
By 1月时特约编辑
专题文章

如何使用客观的质量测量工具

每个压缩文件都涉及许多与配置相关的决策, 包括决议, 数据速率, H.264配置文件，VBR或CBR，熵编码技术，x.264个预设帧、b帧、参考帧——这个列表还在继续. Most encoding professionals simply use configurations gleaned from presets supplied with their encoding tools, 或者从网上找到的食谱. But how can you be sure that you’re squeezing the last bit of quality out of the selected 数据速率, 或者你的视频是最佳的带宽效率? 你怎么知道1080p@ 7有多少额外的质量.5Mbps的流通过5.5 mbps流?

基本上, 你有三个选择:忽略这个问题，抱最好的希望, 实施耗时且昂贵的主观测试, 或者使用客观的质量度量, 哪些更便宜，消耗更少的时间, 但仍然需要投入金钱和精力. 在过去的18个月里，我选择了最后一种选择. 在本文中, 我将向您介绍两种客观的质量测量工具, describe how I use them to make better-informed compression-related decisions. But let’s start with a brief description of what objective quality benchmarks actually are.

什么是质量指标?

毫无疑问, the gold st和ard for assessing video quality is a controlled subjective test, 哪一个。, 如前所述, 运行起来是否耗时且昂贵. Objective quality benchmarks are algorithms that compare the compressed video with the source 和 render a value that predicts how the compressed file would fare in subjective tests. 有多种算法, all rated according to how well they correspond with actual subjective evaluations. 没有一个是完美的，但有些人比其他人表现得更好.

I use two tools to compute these scores: the Moscow University Visual Quality Comparison Tool (VQMT, 995美元)和SSIMWave视频体验质量监视器(SQM), ~$2,400). 两者都在GUI和批处理模式下运行，这对大多数项目来说都是一个救星.

短暂的, VQMT is an algorithm-agnostic tool that lets you run more than 20 different quality algorithms, 或者算法的不同版本, 包括我们熟悉的峰值信噪比, 和结构相似指数(SSIM). 出于各种原因, I’ve st和ardized on the VQM metric, where lower scores indicate superior quality. 仍然, the ability to compute PSNR 和 SSIM is often useful for clients or supervisors who are familiar with the metric 和 want to see the results.

From a usability st和point, operation is simple in both batch 和 GUI modes. GUI可以同时处理两个文件(图1), 哪一个。 is amazingly convenient when you’re comparing different encoding alternatives 和 want to view the differences in the actual frames, VQMT接口促进了什么. The primary limitation is that you can only compare the quality of files at the same resolution as the source. 这阻止了以下面讨论的方式进行分析, where you’re trying to find the best resolution for a file at a given bitrate. 超出这个限制, VQMT非常有用, there’s a free trial version you can download that processes files up to, 但不包括, 分辨率为720p. 你可以查找有关产品和试用版的信息, 请阅读我对该产品的评论, 在YouTube上观看一个简短的演示.

VQMT can compare two files at once 和 presents this visualization that lets you scan through the tested file(s). 单击“显示框架”，查看实际的框架.

SSIMWave SQM工具提供了不同的价值主张. 具体地说, 该工具是围绕该公司的SSIMplus算法构建的, 这是和周王共同发明的吗, 他是该公司的联合创始人和SSIM算法的共同发明者, 哪一个。最近获得了艾美奖来自电视学院. 根据由公司研究人员进行的测试, the newer SSIMplus algorithm provides the most accurate matching between SSIMplus scoring 和 actual subjective ratings of all tested algorithms, 其中包括SSIM和VQM, 我在VQMT中使用的算法. 目前，SQM工具是访问SSIMplus算法的唯一方法.

不像VQMT, SQM评级预测主观评价, so a score of 80 to 100 predicts that live viewers will find the video excellent in quality; 60 to 80 predicts that viewers will rate the video good in quality, 以此类推，直到零. 与此形成鲜明对比的是, VQM评级可以告诉你哪个视频的质量更高, 但这与观众的感知水平无关.

除此之外，SQM还提供了VQMT所没有的两个关键特性. 第一个, you can select a device-specific profile 和 SQM will render a score that predicts how viewers watching on those devices will rate the video. 这很重要, because what looks good on a smartphone doesn’t necessarily look good on a 65" 4K TV set. Second, SQM can predict scores at resolutions different than the source resolution. 这样就可以进行下面的第二个分析, where you want to find the optimal resolution for a specific bitrate file.

当我写我对SQM的回顾, the product was very competent, but lacked the visualization tools VQMT provides. 如图所示图2, SSIMWave has added these, bringing the tool up to par with VQMT in this very important regard.

objective2

SQM的新QoE分析器，一个非常有用的SQM可视化工具

我如何使用这两个工具? 在和他们一起工作了几个月之后, 我发现VQM比SQM更像煤矿里的金丝雀, 并且更善于识别文件之间的细微差异. 如第150页的表3所示，VQM找到了一个6.5Mbps和6mbps之间有8%的差别.5Mbps的文件，SQM发现一个0.12%的差异. 当然, 有时，这些差异加起来并没有什么可察觉的, 正如SQM分数所显示的那样, 但由于VQMT使这些差异非常容易发现, 我还是觉得很方便. 除了, 有时候，许多微小的差异累积起来就会产生巨大的差异, 而VQMT则揭示了个体成分的巨大差异.

当然，SQM提供了一个非常有用的对应物. If VQMT says the sky is falling, so to speak, SQM says relax, I tend to relax. 此外, SQM提供多分辨率(很快), 多帧率分析, 以及VQMT不提供的特定于设备的配置文件. 我发现这两种工具在各自的角色中都是无价的.

我的测试文件

让我们花一些时间来描述测试文件. As you’ll see, different types of videos respond differently to various compression options. 出于这个原因, 如果你正在处理不同类型的视频, 您应该创建简短的测试文件并测试每种类型. 以下是我在下面的示例中测试的文件.

钢铁之泪—the Blender Foundation movie; mix of animation 和 live action video (mostly live action)
Sintel—Another Blender Foundation movie; all animation, but very lifelike rather than cartoonish
大巴克兔—Yet another Blender Foundation movie; all animation, but more cartoonish than Sintel
“屏幕截图”-来自上面提到的VQMT YouTube演示的屏幕截图
“Tutorial”—a PowerPoint presentation with talking head video grabbed from a Udemy course on Multiple Screen Delivery
"会说话的人" -一个简单的会说话的人的视频在我的办公室里
“自由”—Multicam concert footage (HDV/ AVCHD) of the fabulous Josiah Weaver at the Greensboro Coliseum
“闹鬼”-我用DSL为闹鬼的格雷厄姆大厦拍摄的预告片

让我们进入我们的测试.

自定义编码或所有文件相同?

如果您使用多个文件类型, the first question you have to address is whether to encode them all using the same ABR group. 第一个测试似乎表明，答案可能是否定的. 来解释, 对于这个测试, I encoded the eight 720p test files in H和brake using constant rate factor (CRF) encoding with a value of 19. 短暂的, CRF encoding adjusts the 数据速率 of the file to maintain a constant quality level. 的最右侧的SQM列中可以看到表1, 所有视频的质量范围从95到99, 谁预测观众会把这些视频评为优秀. 然而, the screen-cam 和 tutorial videos achieved 99 percent quality level at 11 percent 和 8 percent of the maximum 数据速率 recorded in this test. 换句话说, you can encode these types of files at roughly 10 percent of the 数据速率 of real-world video, 并达到相同的质量水平. 有趣的是, 大多数编码器, 一旦为这些类型的文件选择了目标数据速率, 编码器将提供这个速率, 尽管它可以以更低的数据速率提供相同的质量.

objectivet1

表1. 指定CRF级别所需的数据速率.

请注意, 钢铁之泪 和 Sintel 都是以每秒24帧的速度制作和编码的吗. 将它们的数据速率与测试中的其他30fps文件进行比较, 你得把他们的数据速率提高20%, 这将它们的可比数据速率提高到4左右,800 kbps. 相比之下，为2559 kbps 大巴克兔，以每秒30帧的速度制作. 这里的要点是模拟现实世界的动画，比如 Sintel, encode like live action videos, while more cartoonish animations, such as 大巴克兔, are a different class that might be able to support a much lower 数据速率和 still achieve the same quality level.

下一个页面