“まるで実写”な3D空間を写真から作る新技術に迫る。映像制作やゲーム業界などでの活用に期待

AI関連技術に強みを持つPreferred Networks（プリファードネットワークス、以下：PFNは、2025年3月31日、建物や部屋、空間全体を撮影して、現実のロケーションをフォトリアルな高精細3Dデータに再構成する技術の開発を発表した。映像制作やゲームのみならず、観光、不動産、建築などさまざまな業界での活用が期待されるという。本技術の先進性や活用可能性をPFNに聞いた。

大量の写真から「まるで実写のような3D」を作成

2014年に創業したPFNは、深層学習をはじめとしたAI関連の先端技術を強みとする。その独自技術を活用したさまざまな事業領域があり、2016年から3D技術の開発を開始した。

小型物体の3D化から始まり、従来の手法では難しいとされていた透明や金属の材質も再現可能な技術を確立しました。その後、人物など動きのある対象に広がり、今では屋内・屋外の広域の3D化も可能となりました（松元氏）

小型物体の3D化は「PFN 3D Scan」（1点2万円〜）としてサービス化されており、映像やECサイトの制作、メタバース領域、小売テックの開発などに活用された実績がある。

今回発表された高精細な3Dデータの復元・描画は、「3Dガウシアンスプラッティング」（以下：3DGS）と呼ばれる最先端の機械学習手法を用いて実現している。3DGSは、3Dモデルを小さな楕円体（球・円盤・ラグビーボールのような形状の立体） の集まりで表現する特徴があり、従来の3Dスキャン手法で使われる点群表現（物体の形状を無数の点の集合体として表現する方法）よりも、再現性が高いという。

• 3DGSを用いて3D化した屋内・屋外のサンプル動画

この映像は、3DGSを用いて3D化したサンプル動画だ。大量の書籍が並ぶ空間や美しいステンドグラスを備えた教会、緑豊かな公園などがあり、複雑な形状や細部のディティールまで再現されている。高精度のデータながら、表示速度の問題点もクリアしているという。

従来の3Dデータ作成は、多面体（ポリゴン）で表現する「メッシュ」と呼ばれる手法が主流ですが、細かい部分の再現性に限界がありました。一方、「3DGS」はメッシュとは異なるアプローチで、メッシュよりも品質や描画速度が優れています。当社のデモ動画の品質をメッシュで再現するとしたら、コストが非常に高くなるなど現実的ではないと思います（松元氏）

3DGSそのものは公開されている技術ですが、それをどう実現するかが品質や描画速度を左右します。当社では、AIを動かすためのスーパーコンピューターやAIチューニング技術を独自開発しています。高精度な3D化を商用可能なレベルで展開している点において、国内では先進的だと認識しています（伊藤氏）

こうした3Dデータを制作するには、空間や建物をさまざまな位置・角度から撮影した数百枚、数千枚の写真データが必要となる。これは、モノの距離感や光の反射などを取り込むためだ。その写真データから3D構造を復元し、緻密な3Dデータを完成させる。データの納期は2〜3週間が目安だという。

実写と見比べても違いがわからないぐらいの再現性を目指しているため、納期はやや長めに設定しています。あらゆるシーンの3D化が可能ですが、回っている風車や食品の湯気、煙、炎など動くものの3D化は現状では難しくなります（松元氏）

映像制作やゲームで活用可能、Unreal Engine 5向けのプラグインも開発

PFNでは、3DGSを活用して制作した3Dデータを映像制作やゲームの開発で柔軟に使えるようUnreal Engine 5（アンリアルエンジン5：UE5）向けのプラグインも同時に開発した。

Unreal Engineとは、米国のEpic Games（エピック ゲームズ）社が開発したゲームエンジンで、 ゲーム開発を中心に映像制作や建築分野などで幅広く活用されている。「Unity（ユニティ）」と並ぶ業界のスタンダードだ。

PFNいわく、そうした領域で3DGSの3Dデータを柔軟に扱えるプラグインは、世の中に存在していなかった。そのため、Unreal Engine 5向けのプラグインを開発したという。

「バーチャルプロダクション」のほか、観光、不動産、建築など幅広い活用可能性

PFNが開発した3D化技術は、今後どのような活用が期待されているのか。現状、活用可能性が高いのは、3D映像やCG背景を用いてリアルな仮想環境を作り出す撮影・制作手法「バーチャルプロダクション」だという。

• インカメラVFX方式で作成したバーチャルプロダクションのデモ映像

バーチャルプロダクションの中でも、背景映像を大型LEDウォールに表示してカメラで撮影する「インカメラ VFX」という手法に最適です。背景に映像を映し出すことで、出演者の顔などに背景の光が反射したリアルな映像を後処理なしで制作できます。出演者が世界観に没入しやすいメリットもあります（松元氏）

インカメラ VFXは、CGの背景とグリーンバックで撮影した映像を合成する従来の手法より高品質、短納期などのメリットがあるとして、近年、映像業界で普及し始めている手法だという。

その他の3Dデータ活用可能性として、ゲーム、観光、不動産、建築など幅広く想定している。

たとえば、観光では現実空間を再現したデジタルツインを制作し、VRゴーグルなどを活用してその中を歩き回れるようにする。不動産ではフォトリアルな内見やインテリアのシミュレーションなどが考えられます（松元氏）

建築業界でも、3Dデータを活用して工場の内部をデザインする、建築物の途中段階を把握するなどデジタルツインが少しずつ使われ始めています。フォトリアルな3Dによって、精密なシミュレーションや現場の確認が可能になるためです。その他、文化財の保護にも有効活用できると考えています（伊藤氏）

さらには、業界を問わず教育にも役立ちそうだ。医療現場や危険作業のシミュレーションなど、より現実世界に近い環境で体験することで習得の精度向上が期待される。

コストやビジネスモデルは検討中

3月末に同技術を発表してから、国内の映像業界の企業を中心に多くの問い合わせがある状況だ。復元品質の高さと独自のプラグインは、海外からも注目度が高いそうだ。

これほど高品質な3Dデータを実用レベルで提供するのは非常に難易度が高いため、まずデータ自体の精度を評価いただいています。さらに、そうした3DデータをUnreal Engineで満足に使えるツールは世の中にほとんど存在していなかったので、積極的にPRせずとも国内外で反響を得られたのだと思います（伊藤氏）

気になる3Dデータ作成のコストだが、現状は「検討中」とのこと。コアの技術は完成しているがビジネスモデルは未完成で、さまざまな業界、用途で商用化を狙っているためコストの算出が容易ではないという。

各業界ごとに課題や予算感も異なるでしょう。そんななか、事業として利益を得ながら、各業界の需要とのバランスを見て現実的な費用で提供していきたい思いがあります。これから各業界のお客様の声をヒアリングして、適切なビジネスモデルを構築していきます（伊藤氏）

現状の構想では、さまざまなロケーションを3D化してライブラリに登録、各データを柔軟に再利用できる状態を想定している。クライアント想定は大きく2パターンがあり、1つ目はロケーションを持っている事業者や個人、2つ目はそのロケーションを使いたい事業者や個人だ。どちらのパターンになるかによっても、サービス提供内容やコストが異なってくると想定される。

サービスとしてパッケージ化はされていませんが、個別のプロジェクトは多数動いています。ご相談内容に応じて、柔軟に対応している状態です（伊藤氏）

また、新たな展開としてPFNが開発を進めている「3Dモデル生成AI」も、注目度が高い領域だ。経済産業省とNEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）が国内の生成AI開発力の底上げを目的に立ち上げた「Generative AI Accelerator Challenge」（GENIAC、ジニアック）にPFNが採択され、同プロジェクト内で基盤開発に取り組んでいる。実現には大量の3Dモデルのデータセットが必要だが、数年以内の実用化を目指すという。