跳到正文
npaka · AI与游戏开发技术· 来源·· 3 小时前AI 评分78

清华大学等团队发布 HairDeck:从单张图像自动生成可动3D发型模型

HairDeck の概要 - 1枚画像から動く3Dヘアモデルを生成するAI

正文 · AI 翻译

总结了「HairDeck」的概要。

目次

  1. 1. 什么是HairDeck
  2. 2. HairDeck的工作原理
  3. 2-1. 通过发片表现头发
  4. 2-2. 基于Diffusion Transformer的生成
  5. 2-3. 基于Spring Bone的动画
  6. 3. 与传统方法的比较
  7. 4. 试用 HairDeck

1. 什么是 HairDeck

“HairDeck”是一项从单张角色图像自动生成可动画化3D头发模型的AI技术。

该技术由清华大学、卡内基梅隆大学及香港中文大学的研究团队开发,论文于2026年10月公开。源代码以Apache 2.0许可证发布。

在传统的从图像生成3D的方法中,虽然能够生成头发的形状,但要使其自然运动,仍需额外的建模和骨骼设置。

HairDeckでは、髪の形状と、それを揺らすためのボーン構造を自動生成できます。

主な特徴は次のとおりです。

・画像から3Dヘア生成:1枚の画像から立体的な髪型を生成
・ヘアカード生成:板状ポリゴンを使って毛束を表現
・ボーンの自動生成:髪を揺らすためのSpring Boneを生成
・高速な生成:従来手法CHARMと比較して約33倍高速
・VRM対応:生成した髪をアバターに組み込んで出力可能

公式サイトでは、さまざまなキャラクター画像から生成した3Dヘアと、髪が揺れるアニメーションのデモが公開されています。

2. HairDeckの仕組み

2-1. ヘアカードによる髪の表現

HairDeckでは、「Hair Cards(ヘアカード)」と呼ばれる技術を利用します。

ヘアカードは、細長い板状のポリゴンを組み合わせて髪の毛束を表現する手法です。髪を1本ずつ再現するよりも軽量で、アニメ調のキャラクターやゲームに適しています。

HairDeckでは、複数のヘアカードを生成し、組み合わせることで髪型全体を構築します。

2-2. Diffusion Transformerによる生成

HairDeckの中心となるのは、「Set Diffusion Transformer」です。

従来手法のCHARMでは、髪の制御点を順番に生成していましたが、HairDeckでは、複数のヘアカードをまとめて生成することで高速化しています。

主要处理流程如下。

(1) 图像输入:输入角色图像
(2) 特征提取:从图像中提取发型特征
(3) 发片生成:使用 Diffusion Transformer 生成分束毛发
(4) 骨骼生成:生成 Spring Bone
(5) 3D 模型输出:以 GLB 或 VRM 格式输出

发片形状生成也使用了 VAE。

2-3. 基于 Spring Bone 的动画

在 HairDeck 中,还会自动生成被称为“Spring Bone”的骨骼结构,用于物理模拟头发和衣物的摆动。

通过为每个发片生成对应的骨骼,实现角色头部运动时头发自然摆动的动画效果。

3. 従来手法との比較

HairDeckの論文では、従来のヘアカード生成手法「CHARM」と比較しています。

主な結果は次のとおりです。

・生成速度:約33倍高速
・Chamfer距離:約44%削減
・ヘアカードの向きの誤差:半分以下に削減

Chamfer距離は、生成した3D形状と正解形状の距離を評価する指標で、小さいほど正確です。

これらは論文で報告された評価結果であり、すべての画像で同じ改善が得られるわけではありません。

4. HairDeck を試す

(1) Hugging Faceにログインして、「DINOv3」と「SAM3」のモデルカードを開いてライセンス同意。

画像

(2) AIエージェント (Codexなど) に Colab CLI経由でHairDeckをセットアップしてもらう。
ColabでHugging Faceのトークン(HF_TOKEN)を設定してない場合は設定しておいてください。

HairDeck のデモをColab CLIで実行して
ブラウザで操作したい

セットアップの完了までの時間も教えて

HairDeck デモを開く

在 Colab CLI 中启动并运行于 L4 GPU 上,并通过 Chrome 打开。
可以选择图片并使用“Generate hair”进行操作。

设置:约5分30秒
浏览器中的操作确认:约7分钟
样本生成:2.8秒,已确认至3D显示

(2) 操作确认。
输入图片后点击“Generate  hair”按钮。

画像

主要输出格式如下:

・GLB:3D头发模型
・VRM:内置Spring Bone的虚拟形象
・MP4:动画预览视频

此外,下载模型时需要同意 DINOv3 和 SAM 3 的许可协议。

(3) 停止 Colab。

请停止 Colab。

来源:npaka · AI与游戏开发技术 · note.com