ぬいぐるみさんの画像からダンス動画を作成する方法です。とりあえず覚書程度ですが参考になれば幸いです。今回使用するサービスはMoore-AnimateAnyoneというサービスで中国のアリババという会社が運営しているサービスです。リグという骨組みのような棒状の物を使ってAIがリギング(リグ付)という作業を行って動画を生成してくれるサービスです。
ぬいぐるみダンス
テックトックの会社が運営している画像からダンス動画を作る「マジックアニメイト」というサービスは有名ですが、ぬいぐるみさんの顔を認識出来ないため使用できませんでしたが、今回紹介するMoore-AnimateAnyoneは骨格を使うことでぬいぐるみさんでも動かすことができました。
※ただし2等身など頭の部分が認識されない場合もあります
公式サイト
実際に作業するサイト(Googleコラボ)
GitHub - camenduru/Moore-AnimateAnyone-colab
制作方法
Googleコラボを使用して制作する方法が紹介されています
Googleコラボとは
Google Colabは、Googleが提供する無料のクラウドサービスで、ブラウザ上でPythonコードを実行できます。インストールや環境構築が不要で、すぐに機械学習やデータ分析を始められるのが特徴です。
主な機能
Pythonコードの実行: ブラウザ上でPythonコードを実行できます。
GPU/TPUの利用: 高性能なGPU/TPUを無料で利用できます。(無料プランでは使用時間に制限があります)
豊富なライブラリ: TensorFlow、PyTorch、NumPy、Pandasなど、機械学習やデータ分析に必要なライブラリがプリインストールされています。
コード共有: 作成したノートブックを他のユーザーと共有できます。
豊富なチュートリアル: 機械学習やデータ分析のチュートリアルが豊富に用意されています。
無料プランの制限
GPU/TPUの使用時間: 1日あたり12時間まで
メモリ: 25GB
ディスク容量: 5GB
利用方法
Googleアカウントがあれば、無料で利用できます。
新しいノートブックを作成するか既存のノートブックを開きます。
コードセルにPythonコードを入力して実行します。
詳細情報
Google Colab 公式サイト: https://colab.research.google.com/
Google Colab チュートリアル: https://colab.research.google.com/notebooks/intro.ipynb