氏名: 乙部 幸一朗 (089530470)

論文題目: Recurrent Neural Networkによる顔表情系列の生成


論文概要

 これまでは人間の顔表情を作る場合、CG、アニメーションにおける画像の合 成 が主であった。このような「モデルに基づく合成手法」においては、顔表情の 微 妙な動きを再現することはかなり困難な問題であった。そこで本研究では、リ カ レントネットワークの学習・汎化能力を利用して、実画像データから顔表情時 系 列を自動生成する手法について、その有効性を確認する。
本研究は人間の正面の時系列顔画像をリカレントネットワークで学習させ、 そ れを用いて一枚(少数)の顔画像の入力から、表情のリアルな時系列顔画像を 生 成することを目的としている。データとして扱うのは、画像より抽出した特徴 点 の位置情報であるので、出力データにテクスチャを貼り付けた形で最終的な画 像 を生成した。
表情のリアルな顔画像を得るには、より精度の高い学習が求められる。顔の 特 徴点の位置データをそのままシミュレータの入力とした場合、扱うシーケンス の 長さによっては学習が成功しなかった。そこで、この入力データに幾つかの前 処 理を与えることによって学習結果を比較し、時系列表情の生成におけるリカレ ン トネットワークの有効性を示した。

移 動ベクトルを学習した場合の顔表情時系列生成例

目次に戻る


asakura@nuie.nagoya-u.ac.jp