生成動画の品質評価をチームで合わせる｜同じサンプルで基準を確認する

同じ動画でも、顔を重視する人と、動作や音を重視する人では評価が分かれます。評価を揃える作業は、全員の好みを同じにすることではありません。案件の必須条件、観察する項目、未確認の扱いを共有し、違う判断が出た理由を追えるようにします。

人物の一貫性、商品の形、指定動作、台詞、尺、掲載先の仕様など、今回の用途で必要な条件を書きます。必須条件と、よりよくしたい表現を分けます。必須の台詞が違う動画を、映像の美しさで相殺して合格にしないためです。

制作記録では、対象版と時刻を示して現象を確認し、モデル名やAIの点数だけで原因を決めないことが重視されています。評価表もこの粒度へ合わせ、「不自然」だけではなく何が見えたかを記入できるようにします。

評価用サンプルのファイルと版を固定します。片方は編集前、もう片方はBGM付きの完成候補を見ている状態では、同じ対象の評価になりません。通常速度での再生、音の有無、表示サイズ、必要な拡大確認を決めます。

未実施の練習例として、一本の短い動画から、人物の顔、手の接触、動作の終わり、音の同期を見る課題を設定します。顔が隠れる場面や、音を聞けない環境では、その項目を未確認にします。採点表の空欄と合格を区別します。

まず各担当が、時刻、観察した現象、判定、理由を記入します。その後で同じ箇所を確認し、見落としなのか、許容基準の違いなのか、好みの違いなのかを整理します。先に一人の総合点を示すと、別の観察が出にくくなるため、個別記録を残してから話し合う方法が使えます。

たとえば「手が変」という記録は、指の本数、物との接触、動く向きへ分けます。同じ現象を見ていて採否だけが違う場合は、今回の用途で許容するかを決めます。多数決だけで、未確認の事実まで確認済みに変えないようにします。

基準には、合格例、不合格例、判断が分かれる例を対応付けます。保存先、版、時刻、理由があれば、次の担当者も同じ箇所を確認できます。ただし、一つの作品で許容した表現を、別の顧客や用途へ自動で適用しません。

評価基準を変更した場合は、変更理由と適用する作品を記録します。以前の採否を遡って変える必要があるかも別に判断します。本稿では新たなサンプル評価やチームへの送信は行っていません。同じ対象を見て、事実、許容条件、好みを区別することが、品質判断を共有するための手順です。