OpenAIは「Sora」と称する新しい生成AIモデルを発表した。このAIは、入力されたテキスト文から複数のキャラクター、特定のモーションを含む、最長1分間の複雑かつフォトリアリスティックな動画を生成する。

このAIモデルは物体が「物理世界にどのように存在する」のかを理解することで、「物体の配置などを正確に解釈し、生き生きとした感情を表現する魅力的なキャラクターを生成する」ことができるとのことだ。

Soraは、テキストからの生成だけでなく、静止画から動画を生成したり、既存動画のなかで欠落した部分を埋めたり拡張したりすることもできる。OpenAIは、Soraのデモンストレーションとしてゴールドラッシュ当時のカリフォルニアをドローン撮影したような映像や、電車内から東京郊外の街並みを眺めるシーンなど、生成された動画を多数ウェブサイトで公開している。

一連の動画はいずれもリアルそのものではあるものの、少し注意してみれば、明らかにそれがAIによって生成されたとわかる描写が見つかるだろう。たとえば、博物館の動画では、床面が不自然にうねって見える（錯視のようでもあるが）。また老婦人がバースデーケーキのろうそくを吹くシーンでは、そのろうそくの火がまったく消えない。また背後で手を振る女性の指が不自然に曲がったり、その本数が増減するような場面もある。

ちなみに現在のところ、Soraを利用できるのは、潜在的な害やリスクについてモデルを評価する「レッド チーム」の担当者だけとのことだ。

さらに、一部のビジュアル アーティスト、デザイナー、映画製作者に、この新しいAIを使用してもらっているとOpenAIは述べている。また、既存のAIモデルは複雑なシーンの物理を正確にシミュレートしていない可能性があり、原因と結果の特定のインスタンスを適切に解釈できない可能性があることに注意が必要とのことだ。

ちなみに、テキストから動画を生成できるAIモデルに取り組んでいるのはOpenAIだけではない。Midjourneyは最近、テキストから動画を生み出す生成AIの開発に取り組んでいることを発表している。ただしまだ、公開予定などは明らかにされていない。Metaも「Emu Video」なるテキストtoビデオ生成AIを開発している。

Stability AIは以前、解像度576×1024px、25フレームまでの動画を生成できるStable Video Diffusionをオープンソースとして公開し話題になった。

Stability AI、「Stable Video Diffusion」発表。静止画から超ショート動画を生成

Source: Sora（OpenAI）
via: Verge