会話劇をAIで作る｜話す人と聞く人のリアクションを分ける

会話の映像は、台詞を言う人の顔だけで成立するとは限りません。聞き手の視線や間、返答する前の動作によって、同じ言葉の意味が変わります。制作では話者の音声、画面に映る人物、口の動き、リアクションを別々に記録すると、取り違えを見つけやすくなります。

台本へ、話者、台詞、画面に映る人物、動作、発声の有無を加えます。話者と画面の人物が同じ行もあれば、相手の話を聞く姿を映す行もあります。画面の人物が違うこと自体を誤りにせず、意図したカットかを確認します。

未生成の創作例では、人物Aが「もう終わった？」と聞く間、画面には道具を持った人物Bを映します。Bは一度手を止め、Aを見てから返答します。この場面では、Aの声を使いながらBの口は発話させない、という条件が必要です。視線や手の動きだけで反応を示す案も考えられます。

まず台詞の読み方と話者が合っているかを確認し、次に速度、抑揚、間を調整します。読み間違いと演技の好みを同じ「違和感」という欄にまとめると、何を直すべきか分からなくなります。表示する字幕と読み上げ用の文章を分ける場合も、対応を残します。

既存の会話劇の制作記録では、声の印象や抑揚、読み方、黙っている場面の口の動きを別々に確認した履歴があります。これは全場面が解決したという証明ではなく、会話制作で確認対象を分けるための材料です。声の設定を保存しただけで、各台詞の演技まで確認済みにしません。

「驚く」「不安そう」とだけ書かず、目線を上げる、手を止める、一歩引くなど、画面で見える動作へ置き換えます。ただし、一つの短いカットへ複数の反応を詰め込む必要はありません。台詞のどこを受けて、いつ反応するかを決めます。

編集で話者の音声を聞き手の映像へ重ねる場合は、口の動きと音が誤って同期したように見えないかを確認します。無言の場面でも、呼吸や表情の変化があり得るため、口が一度でも動けば不合格と機械的に判断せず、意図しない発話に見えるかを見ます。

音だけでは、誰が話しているか、返答の間、読み方を確認します。映像だけでは、視線の向き、人物の位置、動作のつながりを見ます。最後に両方を合わせ、台詞とリアクションのタイミングを確認します。

修正メモには、対象の台詞かカット、時刻、観察した問題、変えたい内容を残します。「会話を自然にする」だけでなく、「返答前に聞き手が話し始めて見える」のように書くと修正範囲を絞れます。会話全体を一度に作り直す前に、声、口、視線、間のどこに問題があるかを確認する手順です。