利用可能なツールしゃべる写真・アプリに標準搭載

写真がしゃべる。動画を別の言語に吹き替える。

人物1人、または架空のキャラクターを正面から撮った写真と、話してほしい言葉をアシスタントに渡します。言葉に合わせて唇や目、頭が動きます。動画と言語を指定すれば、言葉を書き起こして翻訳し、音声を付けて口の動きも合わせます。

赤みがかった茶色の巻き髪の架空の女性の写真。英語のセリフに合わせて唇や目、頭が動き、その後、同じ動画がスペイン語に吹き替えられ、新しい言葉に合わせて口が動きます。

できること

仕組み

写真1枚人物1人、架空のキャラクター、または保存済みのキャラクターを正面から撮った鮮明な写真。
入力したセリフか、録音音声話し声の録音を入力するか、自分のElevenLabsキーを使う音声の読み上げ文を入力してください。
動きの指定「やさしく微笑む」「小さくうなずく」など、動きの指示をいくつか入力します。
どんな縦横比でも写真のままの縦横比を保つか、9:16、16:9、1:1にトリミングできます。
動画を吹き替えるセリフを書き起こして翻訳し、音声を付けてリップシンクします。元の音声は、セリフに重なる部分でミュートしたり、音量を下げたり、削除したりできます。
声の種類自分で録音した音声か、ElevenLabsの自分のキーで使える音声を選べます。標準の音声を使うことも、自分の声をコピーすることもできます。

左は、サンプルの元になった架空の女性の写真1枚です。右は、英語のセリフを話している動画の一場面です。

新しい声が翻訳されたセリフを話し、口の動きもそれに合います。例は標準の音声を使って、Tesseractのベータ版で作成しました。

知っておくと便利なこと

リップシンクには、サインイン中はTesseractの利用枠を使うか、自分のfal.aiキーを使います。入力した文章の読み上げには自分のElevenLabsキーが必要です。吹き替えでは、文字起こしに自分のGoogle (Gemini)キーも必要です。自分のキーを使う場合の料金は事前に表示されます。
自分の写真、同意を得た成人の写真、または架空の人物の写真をお使いください。

よくある質問

アプリ内のどこにありますか？

アシスタントに、写真とセリフ、または動画と言語を渡してください。

長さの上限は？

セリフは最長5分です。延長を依頼しない場合、動画は最長1分です。

料金はいくらですか？

リップシンクにはTesseractの利用枠か、自分のfal.aiキーを使います。入力した文章の読み上げには自分のElevenLabsキーを、吹き替えの文字起こしには自分のGoogleキーを使います。自分のキーを使う場合の料金は、制作前に表示されます。

Mac、Windows、Linuxで無料。ほかのツールもすべて含まれています。