跳到正文
npaka · AI与游戏开发技术· 来源·· 4 小时前AI 评分78

Speridlabs 发布 Idol:单图生成高质量 3D Gaussian Splatting 模型

Idolの概要 - 1枚の画像から3D Gaussian Splattingを生成するAI

正文 · 原文

「Idol」の概要をまとめました。

目次

  1. 1. Idolとは
  2. 2. Idolの仕組み
  3. 2-1. 画像から3Dを生成する流れ
  4. 2-2. 3D Gaussian Splattingとは
  5. 3. 類似モデルとの比較
  6. 3-1. 主な類似モデル
  7. 3-2. 生成精度と速度の比較
  8. 6. Idol を試す

1. Idolとは

「Idol」は、1枚の画像から3Dオブジェクトを生成するAIモデルです。「Speridlabs」によって、2026年10月に公開されました。

写真やCG画像を入力すると、画像に写っていない裏側もAIが推測し、360度から見られる3Dオブジェクトを生成します。

生成形式には「3D Gaussian Splatting(3DGS)」を採用しています。これは、多数の半透明の楕円体(Gaussian)を3D空間に配置し、物体の形状や見た目を表現する技術です。

主な特徴は次のとおりです。

・画像1枚から3D生成:見えていない部分も含めて生成
・3DGS形式:PLYファイルとして出力
・軽量なモデル:約6.6億パラメータ、ピークVRAM約7.2GB
・高速生成:B300で約3.4秒、RTX 4090で約19.1秒
・オープンソース:コードと学習済みモデルをApache 2.0で公開

2. Idolの仕組み

2-1. 画像から3Dを生成する流れ

Idolは、画像の特徴を抽出し、拡散モデルを使って3D Gaussianを生成します。

処理の流れは次のとおりです。

(1) 画像入力:写真やCG画像を読み込む
(2) 前処理:背景を除去し、物体を切り出す
(3) 特徴抽出:DINOv3とFLUX.2 VAEで画像の特徴を抽出
(4) 3D生成:Diffusion Transformer(DiT)で3D表現を生成
(5) 出力:3D GaussianをPLYファイルとして保存

モデル本体は約6.6億パラメータですが、画像認識モデルなどを含めた推論システム全体では約18億パラメータになります。

2-2. 3D Gaussian Splattingとは

3D Gaussian Splattingは、物体をポリゴンではなく多数のGaussianで表現する技術です。

・ポリゴンメッシュ:頂点と面で物体の表面を表現
・3DGS:Gaussianの位置・大きさ・色・透明度などで見た目を表現

3DGSは高品質な表示に向いていますが、一般的なポリゴンメッシュのような形状編集や3Dプリントには、そのままでは適していません。

3. 類似モデルとの比較

3-1. 主な類似モデル

1枚の画像から3Dオブジェクトを生成する代表的なモデルは次のとおりです。

・Idol:3DGSの生成品質と速度のバランスを重視
・TripoSplat:画像から3DGSを生成
・TRELLIS:3DGSやポリゴンメッシュなどを生成可能
・LGM:3DGSの高速生成に特化

3-2. 生成精度と速度の比較

Idolの公式ベンチマークでは、NVIDIA H100を使用して次の結果が報告されています。

画像

指標の意味は次のとおりです。

・SSIM ↑:入力画像との構造的な類似度。高いほどよい
・LPIPS ↓:入力画像との見た目の違い。低いほどよい
・DINOv2 ↑:別視点画像の特徴の類似度。高いほどよい
・生成時間 ↓:3Dオブジェクトの生成時間。短いほどよい

Idolは3つの品質指標すべてで最も高い評価を得ています。

6. Idol を試す

(1) Hugging Faceにログインして、FLUX.2-devのモデルカードを開いてAccept。

画像

(2) AIエージェント (Codexなど) に Colab CLI経由でMotionBricksのデモをセットアップしてもらう。
ColabでHugging Faceのトークン(HF_TOKEN)を設定してない場合は設定しておいてください。

Idle (https://github.com/speridlabs/idol-sdk) のデモをColab CLIで実行して
ブラウザで操作したい

セットアップの完了までの時間も教えて

セットアップ完了です。 Colab の L4 GPU で、ブラウザからの3D生成・表示・回転操作まで確認しました。

デモを開く

合計:約10分45秒(13:34:35〜13:45:20、認証・同意待ちを含む)
初回生成:約75秒(モデル取得・読み込み込み)
画像を選び「Generate」で生成、3Dビューをドラッグして回転できます。

画像

(2) 動作確認。

画像
画像

(3) Colabの停止。

Colabを停止して。

来源:npaka · AI与游戏开发技术 · note.com