動画生成AIを使ってアニメ、作りたいですよね？ここでいうアニメとは2Dアニメに限ったものとします。
もちろん、3DCGを否定するものではありません。私も3DCGで作られたアニメや映画、よく見ますし、楽しいです。でも、2Dアニメにしかない「良さ」もあるじゃないですか・・・。
私は現在、Klingという動画生成AIツールを駆使しています。そして、アニメ表現ができないか研究しています。
画像から動画生成、いわゆるI2V（Image to Video）で検討しています。KeyFlameとしてスタート画像をアニメ画像に指定すればいいかもれません。でもおおよそはアニメ映像に仕上がるものの、こういうことになるのもしばしば。
ちなみに使用プロンプトは以下の通り。
Hand-drawn 2D animation style, traditional anime aesthetics. A distant figure runs gracefully across the sugar grass, her arms swinging lightly as she moves forward. Her feet barely touch the ground, bouncing as if lifted by the wind. The whipped cream hills roll in the background, glowing softly under the morning sun.
また、条件は以下の通りです。
- 画像生成AI：Midjourney（v6.1）
- 動画生成AI：Kling（1.6, Element）
- プロンプト作成AI：ChatGPT（4o）＆Claude（3.7 Sonnet）
以下は、動画生成AIでアニメ表現をしようとしている方だけお読みください。そもそも何を言っているのかわからない方は、ここで読むのをやめた方が時間が無駄になりません。
動画生成AIのアニメ化（うまくいったシーン）
まず、いくつか同様の条件でもうまくいったカットがあるので、ご紹介します。
プロンプトは以下の通りです。
Hand-drawn 2D animation style, traditional anime aesthetics. Medium shot, two figures sit across café table, sharing cherry parfait. Spoons clink against glass dish, taking turns with small bites. Steam rises from nearby teacup, swirling slowly. Camera moves gently around table, parfait layers glisten under café lighting. Outside window, sunset colors shift, casting warm glow across their content expressions.
また、使用しているAIツールは共通です。
あ、プロンプト作成ツールをなぜ2つ使っているかというと、2点あります。1つ目は、Claudeには上限がある（課金していないもので、、）。明らかに動画生成AIにフィットしたプロンプトを書いてくれます。もう1点は、ChatGPTではストーリー（脚本）をお願いしているためです。
何が動画生成AIのアニメ化のポイントなのか
さて、本題の「何がうまくいった要因」で「何がうまくいかない要因」なのか。使用している画像自体は問題ないと睨んでいます。つまり、Midjourneyでスタイル揃えているので大きくは変わらないと。問題はおそらく「プロンプト」。そして、おそらくはプロンプトの中の伝え方かと。つまり、「2D的な指示」と「3D的な指示」が混ざってしまっているのです。
そこで、プロンプトが3DCGっぽくなってしまう原因を分析してみます。その上で、以下のポイントが考えられるのでは？と考えます。
カメラワーク
- 成功：「Camera moves gently around table」など緩やかな動きの指示
- 失敗：「Camera follows horizontally」「Camera circles slowly」など、3DCGソフトのカメラワークに近い表現になっている
Lighting
- 成功：「parfait layers glisten under café lighting」と自然な光の反射を反射を指示している
- 失敗：「reflecting sunlight」「cast moving red glow」など、3DCGレンダリングのような光源と反射の表現になっている
Motion
- 成功：「Steam rises」「sunset colors shift」と自然な動きを指示している
- 問題点：他のプロンプトでは「arms pump rhythmically」「misty clouds stir beneath」など、機械的な動きの表現になっている
空間
- 成功例：「sit across café table」と平面的な空間を指示している
- 問題点：「camera circles」「pan horizontally across expansive view」など、3D空間を意識した表現になっている
質感
- 成功：「parfait layers」「glass dish」と素材感を簡潔に指示している
- 失敗：「sugar-crystal decorations sparkle」「surface glistens with light reflections」など、3DCGのテクスチャやマテリアル表現に近い描写になっている
その他アニメーション表現
- 成功：「taking turns with small bites」のような、アニメならではの省略された動きの指示をしている
- 問題：「shoulders rise and fall with breath」のような、モーションキャプチャー的な細かい動きの表現になっている
ということで、ネガティブプロンプトなども活用しているのですが、Klingでは逆にAIの負担になってしまうのか、より3DCGの映像として出してきてしまいます。
動画生成AIのアニメ化 まとめ
とりあえず、こうすれば絶対に2Dアニメ表現になる！とまでは言い切れません。しかし、ある程度修正の方向性は見えてくるかと思います。
つまり、修正方針としては、
- カメラワークは「cut to」「pan across」など、2Dアニメの表現に寄せる
- 光と影は「soft light」「shadowed」など、セル画調の簡潔な表現にする
- 動きは「flutters」「sways」など、手描きアニメーションらしい表現にする
- 空間は奥行きよりも平面構成を意識した表現にする
- 質感は細部描写よりも全体的な印象を重視する
- アニメーション表現は細かい動きより、キーフレームを意識した表現にする
参考になれば幸いです。さらに、私もまだまだ研究を続けます。
PS：Veo2を早く無料で使いたいです。
