帧速率和计时
帧速率 (fps)
视频每秒包含多少张图像。常用值:24(影院)、25(PAL 广播)、30(大多数手机和网络视频)、50 和 60(运动、游戏、平滑运动)、120 和 240(慢动作捕捉)。
为什么它在这里很重要: 它决定要提取的帧数,并确定“步骤一帧”的含义。将步进工具设置为错误的帧速率,您要么会看到相同的图像两次,要么会默默地跳过帧。
帧持续时间
帧速率的倒数 - 每帧在屏幕上的时间长度。 30 fps 时,33.3 毫秒; 60 fps 时,16.7 毫秒;帧速率为 24 fps,41.7 毫秒。
为什么它很重要: 这是精度上限。如果您想要的时刻持续 10 毫秒,而您的素材为 30 fps,则它可能会落在两帧之间,并且根本不存在于文件中。
可变帧速率 (VFR)
一些来源 - 屏幕录制、弱光下的手机镜头、流式捕获 - 之间不使用恒定的间隔帧。仅当内容发生变化或随可用光线改变速率时,它们才会发出帧。
为什么它很重要: “每 10 帧”在 VFR 素材上变成不可预测的时间量,并且时间戳算术漂移。如果帧步进行为不一致,VFR 可能是原因。在提取之前转换为恒定帧速率可以解决该问题。
时间码
位置标识符,通常写为 HH:MM:SS:FF 其中 FF 是秒内的帧编号。与已播放的时间不同。
为什么它很重要: 这就是您如何以其他人可以再次找到的方式记录您拍摄的帧的方式。对于大多数非广播工作来说,毫秒时间戳具有相同的用途。
压缩和帧类型
I 帧(关键帧,帧内编码帧)
作为完整图像存储的帧,独立于其他所有帧。大致相当于视频流中的独立 JPEG。
为什么它很重要: I 帧是解码器可以启动的地方。搜索到任意位置意味着跳到前一个 I 帧并向前解码 - 这就是为什么在某些文件中搜索感觉缓慢且不精确的原因。
P-frame(预测帧)
仅存储与前一帧的差异。比 I 帧小得多。
为什么它很重要: P 帧无法解码独自一人。这是大多数视频压缩效率背后的机制,也是您无法简单地从文件中提取第 4,732 帧而不对其之前的内容进行解码的机制。
B 帧(双向帧)
存储与较早帧的差异 稍后 帧。三种类型中最小的一种。
为什么它很重要: B 帧意味着文件中的存储顺序不同于显示顺序,这是精确的帧精确搜索比表面上看起来更困难的原因之一。
GOP(图片组)
I、P 和 B 帧的重复模式 - 例如,一个 I 帧后跟另外 29 个 I 帧,然后是另一个 I 帧。
为什么它很重要: 长 GOP 意味着 I 帧相距很远,这使得搜索变得更粗糙。流媒体优化的文件通常有几秒的 GOP;直接来自相机的镜头通常较短。
比特率
视频每秒的数据量(以 Mbps 为单位)。电话视频通常为 10–50 Mbps;流媒体视频 3-8;专业的中间编解码器可以超过 200 个。
为什么它很重要: 它是提取的帧的外观效果的最强单一预测器。 5 Mbps 流中的 4K 帧将显示压缩伪影,而 50 Mbps 摄像机文件中的 1080p 帧不会显示这种压缩伪影 - 单靠分辨率并不能告诉您图像质量。
有损和无损
有损压缩会永久丢弃信息(H.264、JPEG、MP3)。无损准确保留每个值(PNG、FFV1、FLAC)。
为什么它很重要: 从有损源提取到 PNG 不会恢复任何内容 - 您会获得已降级像素的无损副本。它所阻止的是 添加 第二代丢失,如果以后要编辑该帧,这一点很重要。
颜色和颜色像素
色度子采样(4:4:4、4:2:2、4:2:0)
视频以全分辨率存储亮度,以降低分辨率存储颜色,因为人类视觉对前者更为敏感。该符号描述了保留多少颜色:4:4:4 是全屏,4:2:2 是水平方向的一半,4:2:0 是两个方向的一半。
为什么它很重要: 几乎所有消费者视频都是 4:2:0,因此提取的帧在每个方向上都具有一半分辨率的颜色细节。它在照片内容上不可见,但在锐利的彩色边缘上非常明显 - 深色背景上的红色文本是典型情况,它是源的属性,而不是提取的错误。
色彩空间(Rec. 709、Rec. 2020、sRGB)
存储的数字的颜色含义的定义。高清视频通常是 Rec. 709、HDR 常 Rec. 2020 年,静态图像通常为 sRGB。
为什么它很重要: Rec. 709 和 sRGB 很接近,但并不完全相同。 HDR 源非常不同,未经色调映射提取的 HDR 帧通常看起来褪色且平坦。
有限范围和全范围
视频通常将黑色置于代码值 16 处,将白色置于代码值 235 处,从而在两侧保留净空。静态图像使用完整的 0–255。
为什么它很重要: 这是“我提取的帧看起来比视频更暗淡”的最常见原因。如果不应用转换,黑色会变成灰色,图像看起来很平坦;应用两次,阴影会被挤压,高光会被剪辑。两者都不是质量损失 - 这是假设的不匹配。
位深度
每个颜色通道的位数。消费类视频通常为 8 位(每通道 256 个级别);专业和 HDR 素材为 10 位或 12 位。
为什么它很重要: 8 位在平滑渐变中显示可见的条带,最明显的是天空。提取到 PNG 会保留源的任何深度,但无法添加从未记录过的级别。
Gamma
存储值和显示亮度之间的非线性关系。视频和静态图像管道并不总是采用相同的曲线。
为什么它很重要: 伽玛不匹配会改变中间色调亮度 - 图像整体看起来有点太暗或太亮,而黑白点没有任何变化。
格式和容器
容器与编解码器
容器是文件包装器(MP4、MOV、MKV、WebM)。编解码器是内部内容的压缩方法(H.264、HEVC、VP9、AV1、ProRes)。
为什么它很重要: 这解释了帧提取中最令人困惑的失败 - 两个文件都命名为 .mp4,一个打开,一个不打开。扩展名描述的是盒子,而不是里面的东西。包含 HEVC 的 MP4 可能会被拒绝,而包含 H.264 的 MP4 可以工作。
H.264 (AVC)
支持最广泛的视频编解码器。基本上可以在任何地方播放。
为什么它很重要: 如果文件无法在基于浏览器的工具中打开,则在 MP4 容器中转码为 H.264 是几乎每次都有效的修复方法。
HEVC (H.265)
H.264 的后继者:在相似质量下比特率大约是一半。自 iOS 11 起,iPhone 录制的默认设置。
为什么它很重要: 浏览器支持不完整且依赖于平台。无法在浏览器工具中加载的 iPhone 视频通常是 HEVC。
ProRes 和 DNxHD
编辑中使用的中间编解码器。非常大的文件,非常轻的压缩,专为重复重新编码而设计。
为什么它很重要: 没有浏览器对其进行解码。这些是使用 FFmpeg 或编辑器而不是网络工具的最明显的例子。
PNG
带有 Alpha 通道的无损图像格式。较大的文件。
为什么它很重要: 对于要编辑、分析、测量或存档的提取帧的正确选择。
JPEG
具有质量设置(通常为 1-100)的有损图像格式。大约是高质量 PNG 的十分之一。
为什么它很重要: 当您需要许多帧并且目的地是文档、票据或训练集时,这是正确的选择可以承受轻微的压缩。请注意,其质量等级在不同工具中并未标准化 - 一个应用程序中的“90”在另一个应用程序中并不完全是“90”。
WebP
一种具有有损和无损模式的新型图像格式,在同等质量下比 JPEG 小大约 25-30%。
为什么它很重要: 适合网络交付,但与 PNG 和 JPEG 相比,桌面软件不太普遍接受。当框架进入网页而不是进入工具时选择它。
提取工作流程术语
采样间隔
提取的帧之间的差距,以秒(每 5 秒一帧)或帧(每 10 帧)表示。
为什么它很重要: 这两个读数在同一文件上给出完全不同的结果,而混淆它们是最终图像比预期多或少的最常见原因。
联系表
一起查看的提取帧的网格。借用电影,校样页让您一目了然地选择底片。
为什么它很重要: 跨时间的模式 - 间隙打开、状态更改、出现缺陷 - 在网格中以播放期间不可见的方式可见。
零填充
用前导零写入序列号: frame_0001 而不是 frame_1.
为什么它很重要: 文件名通常按文本排序,这会导致 frame_10 之前 frame_2。任何按文件名顺序读取帧的工具都将在不加扰的情况下播放它们。
客户端处理
在浏览器而不是服务器上执行工作。该文件从磁盘读取到页面内存中并且从不传输。
为什么它很重要: 它消除了上传时间和服务器施加的大小限制,并且是唯一可以通过网页处理 NDA 或数据保护义务下的素材的安排。它也是可测试的—— 断开网络连接并查看它是否仍然有效.