ビデオ フレーム抽出用語集

フレーム レートとタイミング

フレーム レート (fps)

ビデオに含まれる 1 秒あたりの画像数。一般的な値: 24 (映画)、25 (PAL ブロードキャスト)、30 (ほとんどの電話と Web ビデオ)、50 と 60 (スポーツ、ゲーム、スムーズ モーション)、120 と 240 (スロー モーション キャプチャ)。

ここが重要な理由: 抽出するフレームがいくつ存在するかが決まり、「1 フレームのステップ」が何を意味するかが決まります。ステッピング ツールを間違ったフレーム レートに設定すると、同じ画像が 2 回表示されたり、黙ってフレームをスキップしたりすることになります。

フレーム持続時間

フレーム レートの逆数、つまり各フレームが画面上に表示される長さです。 30 fps では 33.3 ミリ秒。 60 fps、16.7 ミリ秒で。 24 fps、41.7 ミリ秒で。

重要な理由: これが精度の上限です。必要な瞬間が 10 ミリ秒続き、映像が 30 fps である場合、その瞬間は 2 つのフレームの間にあり、単純にファイルに存在しない可能性があります。

可変フレーム レート (VFR)

一部のソース（画面録画、低照度での電話映像、ストリーミング キャプチャ）は、フレーム間に一定の間隔を使用しません。コンテンツが変更された場合にのみフレームを放射するか、利用可能な光に応じてレートを変更します。

重要な理由: 「10 フレームごと」は VFR フッテージでは予測不可能な時間となり、タイムスタンプの計算が変動します。フレーム ステッピングの動作に一貫性がない場合は、VFR が原因である可能性があります。抽出前に一定のフレーム レートに変換すると、問題は解決します。

タイムコード

位置識別子。通常は書き込まれます。 HH:MM:SS:FF FF は秒内のフレーム番号です。再生経過時間とは異なります。

重要な理由: これは、他の人が再度見つけられるように、どのフレームを撮影したかを記録する方法です。ミリ秒のタイムスタンプは、ほとんどの非ブロードキャスト作品に対して同じ目的を果たします。

圧縮とフレーム タイプ

I フレーム (キーフレーム、イントラコード化フレーム)

他のすべてのフレームから独立して、完全な画像として保存されたフレーム。ビデオ ストリーム内のスタンドアロン JPEG とほぼ同等です。

重要な理由: I フレームは、デコーダが開始できる場所です。任意の位置へのシークは、前の I フレームにジャンプして前方にデコードすることを意味します。これが、一部のファイルでのシークが遅く、不正確に感じられる理由です。

P フレーム (予測フレーム)

両方から前のフレームとの差分のみを保存します。 I フレームよりもはるかに小さい。

重要な理由: P フレームを単独でデコードすることはできません。これがビデオ圧縮の効率性のほとんどの背後にあるメカニズムであり、その前のフレームをデコードせずにファイルからフレーム 4,732 を単純に取り出すことはできないという事実の背後にあります。

B フレーム (双方向フレーム)

差分を保存します前のフレームと 後でテストすることも可能です。 フレーム。 3 つのタイプの中で最も小さいタイプです。

重要な理由: B フレームは、ファイル内の保存順序が表示順序と異なることを意味します。これが、正確なフレーム精度のシークが外から見るよりも難しい理由の 1 つです。

GOP (Group of Pictures)

I、P、B フレームの繰り返しパターン — たとえば、1 つの I フレームの後に他の 29 の I フレームが続き、さらに別の I フレームが続きます。

重要な理由: 長い GOP は、I フレームが遠く離れていることを意味し、シークが粗くなります。ストリーミングに最適化されたファイルには、数秒の GOP が含まれることがよくあります。カメラから直接出力された映像は、通常、短い映像になります。

ビットレート

ビデオの 1 秒あたりのデータ (Mbps 単位)。電話の映像は通常 10 ～ 50 Mbps です。ストリーミングビデオ 3 ～ 8。プロフェッショナルな中間コーデックは 200 を超える場合があります。

重要な理由: これは、抽出されたフレームの見栄えを示す最も強力な単一の予測子です。 5 Mbps ストリームの 4K フレームには、50 Mbps カメラ ファイルの 1080p フレームでは見られない圧縮アーティファクトが表示されます。解像度だけでは画質はわかりません。

非可逆圧縮と可逆圧縮

非可逆圧縮では、情報が永久に破棄されます (H.264、JPEG、MP3)。ロスレスでは、すべての値が正確に保存されます (PNG、FFV1、FLAC)。

重要な理由: 非可逆ソースから PNG に抽出しても何も復元されず、すでに劣化したピクセルのロスレス コピーが得られます。これによって防止されるのは、 追加 第 2 世代の損失。これは、フレームが後で編集されるかどうかに関係します。

色とピクセル

クロマ サブサンプリング(4:4:4、4:2:2、4:2:0)

ビデオは、最大解像度で明るさを保存し、低解像度で色を保存します。これは、人間の視覚は前者の方がはるかに敏感であるためです。この表記は、どの程度の色が維持されるかを示しています。4:4:4 は完全、4:2:2 は水平方向の半分、4:2:0 は両方向の半分です。

重要な理由: ほとんどすべてのコンシューマ ビデオは 4:2:0 であるため、抽出されたフレームには各方向の半分の解像度での色の詳細が含まれます。写真コンテンツでは見えませんが、鮮明な色のエッジでは非常に目立ちます。暗い背景に赤いテキストが典型的なケースであり、これはソースの特性であり、抽出の欠陥ではありません。

色空間 (Rec. 709、Rec. 2020、sRGB)

保存されている数値が色として意味するものの定義。 HD ビデオは通常、Rec. 709、HDR がよく推奨されます。 2020 年、静止画は通常 sRGB です。

重要な理由: Rec. 709 と sRGB は似ていますが、同一ではありません。 HDR ソースは大きく異なり、トーン マッピングなしで抽出された HDR フレームは通常、色褪せて平坦に見えます。

限定された範囲と全範囲

ビデオでは従来、コード値 16 に黒を配置し、コード値 235 に白を配置し、両側にヘッドルームを確保します。静止画では、0 ～ 255 が完全に使用されます。

重要な理由: これが、「抽出されたフレームがビデオよりも鈍く見える」原因の最も一般的な唯一の原因です。変換が適用されない場合、黒は灰色になり、画像は平坦に見えます。 2 回適用すると、シャドウがクラッシュし、クリップがハイライトされます。どちらも品質の低下ではなく、前提の不一致です。

ビット深度

カラー チャネルごとのビット数。消費者向けビデオは通常 8 ビット (チャンネルあたり 256 レベル) です。プロ仕様の HDR フッテージは 10 ビットまたは 12 ビットです。

重要な理由: 8 ビットでは、滑らかなグラデーション、最も明白な空に目に見えるバンディングが表示されます。 PNG に抽出すると、ソースの深度はすべて保持されますが、記録されなかったレベルを追加することはできません。

ガンマ

保存された値と表示される明るさの間の非線形関係。ビデオと静止画像のパイプラインは、常に同じ曲線を想定しているわけではありません。

重要な理由: ガンマ不一致により、中間調の明るさが変化します。つまり、黒点と白点に変化がなくても、画像は全体的にわずかに暗すぎたり、明るすぎたりします。

形式とコンテナ

コンテナとコーデック

コンテナはファイル ラッパー (MP4、MOV、MKV、WebM) です。コーデックは、内部のコンテンツの圧縮方法 (H.264、HEVC、VP9、AV1、ProRes) です。

重要な理由: これは、フレーム抽出における最も混乱を招く失敗の説明になります。2 つのファイルには両方とも名前が付けられています。 .mp4、一方は開き、もう一方は開きません。拡張子はボックスの内容を説明するものであり、その中に何が入っているかを説明するものではありません。 H.264 を含む MP4 が動作する場合、HEVC を含む MP4 は拒否される可能性があります。

H.264 (AVC)

最も広くサポートされているビデオ コーデック。基本的にどこでも再生されます。

重要な理由: ファイルがブラウザベースのツールで開かない場合は、MP4 コンテナで H.264 にトランスコードすることで、ほぼ毎回有効な修正が可能です。

HEVC (H.265)

H.264 の後継: 同等の品質で約半分のビットレート。 iOS 11 以降の iPhone 録画のデフォルト。

重要な理由: ブラウザのサポートは斑点があり、プラットフォームに依存します。ブラウザ ツールに読み込まれない iPhone ビデオは、多くの場合 HEVC です。

ProRes とDNxHD

編集に使用される中間コーデック。非常に大きなファイル、非常に軽い圧縮、繰り返しの再エンコード用に設計されています。

重要な理由: これらをデコードするブラウザはありません。これらは、Web ツールではなく、FFmpeg またはエディタを使用する最も明確なケースです。

PNG

アルファ チャネルを備えたロスレス画像フォーマット。大きなファイル。

重要な理由: 編集、分析、測定、またはアーカイブされる抽出フレームには正しい選択です。

JPEG

品質設定 (通常は 1 ～ 100) の非可逆イメージ形式。高画質では PNG の約 10 分の 1 のサイズです。

重要な理由: 多くのフレームが必要で、宛先がドキュメント、チケット、またはトレーニング セットである場合に正しい選択です。軽度の圧縮に耐えます。その品質スケールはツール間で標準化されていないことに注意してください。あるアプリケーションの「90」は、別のアプリケーションでは正確に「90」ではありません。

WebP

非可逆モードと可逆モードの両方を備えた新しい画像形式で、同等の品質で JPEG より約 25 ～ 30% 小さい。

重要な理由: Web 配信には適していますが、デスクトップ ソフトウェアでは PNG や JPEG ほど広く受け入れられていません。フレームがツールではなく Web ページに表示される場合に選択してください。

抽出ワークフロー用語

サンプリング間隔

抽出されたフレーム間のギャップ。秒単位 (5 秒ごとに 1 つ) またはフレーム単位 (10 秒ごと) で表されます。

重要な理由: 同じファイルで 2 つの読み取り値がまったく異なる結果を出し、それらを混同することが、意図したよりもはるかに多い、またははるかに少ない画像になってしまう最も一般的な原因です。

コンタクト シート

一緒に表示される抽出されたフレームのグリッド。フィルムから借用したもので、プルーフシートを使用すると一目でネガを選択できます。

重要な理由: 時間の経過に伴うパターン (ギャップの開始、状態の変化、欠陥の出現) は、再生中とは異なる方法でグリッド内に表示されます。

ゼロ パディング

先頭にゼロを付けてシーケンス番号を書きます。 frame_0001 隣接するパレットの色を補って、欠けている色を偽装します。空、柔らかな照明、顔の影などのグラデーションは、これを使用するとはるかによく残ります。その代償として、目に見えるスペックル パターンが発生し、ファイルが著しく大きくなります。 frame_1.

重要な理由: ファイル名が通常テキストとしてソートされ、16:9 サムネイル用に frame_10 前に frame_2ファイル名順にフレームを読み取るツールは、フレームをスクランブルなしで再生します。

クライアント側の処理

作業はサーバーではなくブラウザで実行されます。ファイルはディスクからページ メモリに読み込まれ、送信されることはありません。

重要な理由: これにより、アップロード時間とサーバーに課せられたサイズ制限がなくなり、NDA またはデータ保護義務に基づく映像を Web ページを通じて処理できる唯一の仕組みになります。また、 ネットワークから切断し、まだ動作するかどうかを確認してください。.