全球最大的游戏引擎 Unity 要出生成式 AI 工具了，能不能做好 3D 是个问题 ...

_不良法师_

在游戏行业，生成式 AI 大模型目前被讨论最多的两个应用方向，一个是将 AI 运用于 NPC 的开发（使 NPC 更像真人），另一个是游戏引擎 AI 辅助工具的落地（帮创作者提高生产效率）。
/ k, j( t) J! x- x& P针对后者，在 6 月 8 日举办的 Unity 技术开放日北京站上，Unity 中国首次对外提出了要构建 Unity 中国版引擎 Copilot —— U3D Copilot 的构想。
. D9 c; w2 ]2 h6 [  }Unity 中国 AI 技术负责人暴林超在演讲中谈到这一构想，
) O: E5 U8 T5 j+ @" 通过建立大语言模型和用户交互这样一个更自然的交互界面，来串联起我们的 3D AIGC 模型，以及 Unity 引擎内部可以提供的一些工具（如程序化生成等）。同时我们会探索将用户的隐私数据更安全地在本地做管理，在保护用户隐私的情况下，用户可以实现在本地部署引擎，并以这样的方式接入 Copilot。"
"Copilot"（直译为 " 副驾驶 "）的说法目前被广泛用于 GitHub Copilot 和 Microsoft 365 Copilot 等产品，几乎已经成为 AI 辅助工具的代称。
不过从 Unity 技术开放日当天透露的信息来看，U3D Copilot 目前还只停留在构想，Unity 中国并没有在现场进行任何相关演示。
这场活动是 Unity 时隔两年之后再次举办线下巡回技术开放日。
$ z' v' L% {& ^6 U" 前两年大家还都在讲元宇宙，今年都在讲 AIGC，几乎是引爆了整个（游戏）行业。"Unity 中国 CEO 张俊波在当天的致辞中讲到。
不仅是行业，Unity 的中国业务也在过去两年经历了较大变化。去年 8 月，Unity 中国宣布成立，引入了阿里巴巴、中国移动、吉比特、米哈游、OPPO、佳都科技和抖音等投资者，成为 Unity 在中国的合资公司。张俊波的 title 从 "Unity 大中华区总经理 " 变为 "Unity 中国总裁兼首席执行官 "，负责 AI 技术的暴林超则是在不久前刚加入 Unity 中国。
( b4 b# i1 A8 D+ A' C& l# D6 a" 这也是我们关注中国开发者的新起点。" 张俊波在致辞中说。
( w! j( Z2 w% ~8 v' s# D7 VUnity 中国关注生成式 AI 的步调和 Unity 基本一致。
9 I8 N8 I& s9 h* rUnity 可以说是最早宣布将投入生成式 AI 大模型的大型游戏引擎。今年 3 月举办的 GDC 开发者大会上，Unity 发布了一段名叫 "Unity AI" 的视频。视频以文本框的形式输入了一系列指令，包括 " 生成一个女性 3D 角色 "，" 生成一片拥有灰暗天空的大型地貌 "，" 慢慢推进摄像机，并加入戏剧性的光线 " 等等，暗示这些效果和资产未来都可以跳过繁琐的代码与调试，在 Unity 中通过文字 prompt 直接生成。



Unity CEO John Riccitiello 在接受采访时同时提到，未来不排除会开放一片 AIGC 专用的交易市场，供开发者在其中买卖 AI 工具。
而后在今年 5 月发布第一季度财报时，Unity 在股东信中专门开辟了 "Gen-AI（AI 时代）" 专栏来回答股东提问。比如提到会在今年内推出使用自然语言的 UI 页面，而 " 一键生成游戏 " 的工具现阶段还不太可能，其目前对 AI 工具的定位更多是草稿的快速生成助手。此外，Unity 还计划将引擎打造为一个供开发商训练 AI 模型的工具，帮助开发商 " 按照自己的需求进行数据创造、模拟和训练 "。
Unity 中国频繁因为 AI 被关注也是最近一个月的事情。
5 月初，Unity 中国在采访中透露已建立了中国本土 AI 研发团队，其负责人也开始频繁出现在各种关于 AIGC 的活动上，如张俊波 " 有八成原画师下岗 " 和 " 今后的游戏公司不一定会像现在那么集中在几个大厂等巨头公司 " 等言论也频繁在行业中被提及。
而在 6 月 8 日举办的北京站技术开放日上，Unity 中国引擎技术负责人左瑞文也在介绍中明确提到，Unity 中国在今年的首要任务——研发 Unity 中国版引擎的三大方向之一，就是以生成式 AI 为主的智能化（其他两个方向是本地化和云化）。
& p* ?, }$ J  I. N- a1 }! _0 X+ A5 ^+ a当然这其中不乏难点，难点在于 3D 内容开发的复杂性。
' r5 k7 A/ P7 X  O暴林超在当天的 AI 主题演讲中先是回溯了生成式 AI 在近一年发展的节点性事件，介绍了 stable diffusion 和 ChatGPT 两大热门生成式 AI 工具的核心技术原理，以及 AI 技术从 " 领域专用 AI 小模型 " 到 " 生成式 AI 大模型 "、生成式 AI 大模型从 " 通用 " 到 " 专用 " 的发展趋势，接着便谈到了 3D 生成式 AI 的三大技术难点：
第一，3D 的数据表示有非常多的选择，如体素、点云、Mesh、SDF 和隐式场等，尽管经常会有针对不同数据表示的论文发布，但距离达到生产质量都还有一定差距；
5 w( C5 k% B/ ]第二，3D 数据的呈现依赖也非常多，也就是说，要在引擎里渲染出一个比较好的效果，不但取决于模型本身，还受到贴图、材质、Shader、光照、动画和 VFX 等的影响，这些也给 3D 的 AIGC 生产带来了很多困难；
3 @9 r* X8 \  K0 W$ u第三，3D 高质量数据相对而言比较稀缺，而 1D 或 2D 维度不管是文本还是图片生成，数据量都是巨大的，目前 3D 的数据量还远远达不到这些量级。
由于 Unity 引擎主要专注于游戏中 3D 技术的应用，这些 3D 数据的难点也都给其生成式 AI 工具的开发带来了挑战。
暴林超接着提到了 Unity 中国 3D 生成式 AI 主要的几个技术方向：分别是 3D 模型、材质和贴图、3D 场景、3D 虚拟人，还有隐式场及神经渲染。
$ c2 _, }% [2 q! w5 H就目前来说，Unity 引擎界面依然非常复杂，看上去仍不够 " 智能 "。未来 Unity 中国能否将以上存在在 PPT 和演示视频中的构想一一实现，将决定它究竟是履行了 " 帮助开发者更好地应对技术和市场革新的天然使命 "，还是只是在取悦投资者。