今年はテキストから画像を生成するAIが人気を集め「DALL･E」「Stable Diffusion」「Midjourney」などがよく話題に上ったが、次にくるのは3Dモデルかもしれない。DALL･Eを開発したOpenAIは、新たにテキストから3Dモデルを生成するAI「POINT･E」を開発、その詳細を発表した。

同社によると、画像生成AIで2次元の画像を生成する場合、データセンターのGPUボード1基を使用するとしたら数秒、長くても数分で画像のレンダリングが完了するという。ただし、3Dモデルをレンダリングしようとすれば、数時間は当たり前にかかってしまうとのことだ。

OpenAIはこのプロセスを高速化するのにAIが活用できないかと考え、POINT･Eを構築した。POINT･Eでは、Nvidia V100グラフィックカードで動作させた場合、1分ほどで3Dモデルの生成を完了できる。またそのプロセスも、テキストからいきなり3Dモデルを描画するのではなく、いったんテキストで指定されたオブジェクトを平面の図に描き出し、それをもとに3次元の点群に変換するという。

このようにPOINT･Eは、複数のステップを経て最終的に3Dモデルを生成する。そして単一のニューラルネットワークを用いて処理をするのでは効率が悪いため、ステップごとに異なるニューラルネットワークが担当する手法を採用している。

まず2次元の図面を生成するステップでは、昨年OpenAIが公開した「GLIDE」と呼ばれるニューラルネットワークが使われる。そして次のステップでは2つのニューラルネットワークを使用。まず1,024pxの解像度内で点群を生成、それを2つめのアルゴリズムで4,096pxに変換して解像度を引き上げる。

OpenAIの研究者は論文で「画像拡散モデルで最高の品質のものを描くには、通常、低解像度のベースモデルでまず出力し、それを別のモデルでアップサンプリングするという、いわば階層構造を用いることで実現する」と述べている。

これらのニューラルネットワークには、拡散（diffusion）モデルと呼ばれる仕組みを用いている。拡散モデルでは、ガウスノイズと呼ばれる一種の誤差を含む画像を作成し、そのノイズを除去する作業を数百万回も繰り返すことで、ニューラルネットワークに自ら画像を生成するスキルを習得させる。研究者によると、この方法は最先端の研究に比べればパフォーマンスが劣るものの、サンプル作成にわずかな時間しかかからないという。

オブジェクトの点群を作成したあとは、著名なオープンソースソフトウェア「Blender」により、スクリプトを使って自動で3Dモデルに変換できる。なおPOINT･Eは、ソフトウェア開発プラットフォームGitHubにて公開されている。

Source: OpenAI（GitHub）, ArXiv