我一直对做一个新的 3D 引擎或游戏引擎这件事很着迷。最近，随着模型在代码生成和理解 3D 世界上进步得很快，这个想法又回到了我脑子里，慢慢变成了一个甩不掉的幽灵。
也许是时候为 AI 重建 3D 技术栈了。
我读博时做的 3D 视觉研究，和创业做消费级产品积累的经验，好像突然在这个问题上交汇了。
传统的 3D 工具
今天的 3D 软件大致可以分成几类：
- 数字内容创作工具，比如 Blender，人们用它建模、做动画、离线渲染图片或视频。
- 游戏引擎，比如 Unreal Engine 和 Unity，人们用它搭建实时运行的可交互 3D 世界。
- 工业设计工具，比如 CAD 软件，强调精度、工程约束和可制造性。
- 机器人仿真平台，比如 Isaac Sim，强调物理、传感器，以及机器人和环境之间的交互。
这些工具服务于不同的行业，但它们解决的是一组相似的问题：怎么创造一个 3D 世界，怎么让它动起来并做出响应，以及怎么把它呈现出来。更宽泛地说，3D 技术栈由 Modeling、Simulation/Animation、Rendering 和 Runtime 组成。
不同的工具优化的是这个栈里的不同部分。CAD 侧重精度，Blender 侧重艺术创作，游戏引擎侧重实时交互，Isaac Sim 侧重物理真实性。但它们的创作范式是一样的：人必须理解复杂的软件，并且几乎所有事情都要手动完成。
AI + 传统 3D 工具？
最直接的做法，是让 AI 通过自然语言去操作 Blender、Unity 或 Unreal Engine。Agent 可以调用工具、改参数、写脚本。这是有用的，但底层的表示是为人的工作流设计的，而不是为 AI。
传统的 3D 资产通常存成 mesh。Mesh 非常适合渲染，但它往往只保留了最终的几何形状。一棵树的 mesh 里可能有顶点、三角面和材质，但没有哪些部分是树干、树枝和树叶，它们应该怎么动，或者这棵树是怎么被构造出来的。
换句话说，mesh 往往丢掉了最终结果背后的结构、过程和设计意图。AI 可以操作它，但很难理解它，也很难持续地重新设计它。
AI 原生的 3D 系统需要这样的表示：机器可以渲染，同时 AI 也能理解、生成和修改。
把代码作为一种 3D 表示
AI 生成 3D 内容主要有两种方式。它可以直接生成 mesh、3D Gaussian、NeRF 或其他视觉表示；也可以生成代码，通过 Three.js 这样的工具把物体和场景构造出来。
代码目前生成的画面可能更粗糙，但它保留了一个物体是怎么被搭出来的。一只鸟可以表示成身体、翅膀、尾羽和喙，每个部分有自己的几何和行为。这样 AI 就可以调整它的比例或动作，而不用把整个物体重做一遍。
代码还让图形学的 know-how 可以被复用。一只鸟可以用简单几何体、SDF 或参数化曲面。一丛灌木近看可以用几何叶片，远看可以用 billboard。这些技巧可以被积累下来，在很多场景里复用。
这不是说所有东西都应该变成代码。对细节丰富的物体，生成的 mesh 可能效果更好；对需要结构、变化或行为的物体，代码可能更合适。关键是把多种表示结合起来，让 AI 去选合适的那一种。
为什么不直接用 Codex 和 Three.js？
用户现在已经可以让 Codex 做一个 Three.js 场景，再把它变成视频或者一个简单的游戏。但从一次性的代码生成到一个完整的创作产品，中间还有很大的距离。
第一，好的程序化 3D 内容需要专门的 know-how。AI 不会总是选对建模、动画或渲染的技术。一个专门的产品可以把这些技术沉淀成可复用的资产、行为、模板和生成策略。
第二，每个场景都需要同一套基础设施：场景树、资产管理、相机控制、时间线、输入处理、版本历史、预览、runtime 和导出。产品可以把这些能力一次性提供好，而不是每个项目都重新生成一遍。
把它变成一个产品
如果这个方向走得通，它最终可能会成为一个 AI 原生的 3D studio，人们在里面创造、导演、游玩和分享 3D 世界。
但从第一天就想替代 Blender、Unity 和 Unreal Engine，范围太大了。我们还是需要一个具体的切入点：一个传统 3D 工具太复杂、而通用 coding agent 又还不够可靠的任务。
有三个可能的方向：AI 3D Director、AI 3D Game Studio，或者更宽泛的 AI 3D World Builder。
方向一：AI 3D Director
AI 3D Director 会帮人们创作短片、MV、meme、游戏预告片和其他视觉内容。用户生成一个可编辑的 3D 场景，调整里面的物体、动画、节奏和相机，然后直接渲染，或者用视频生成模型做增强。
它的主要价值是控制。和纯视频生成不同，3D 场景让创作者可以明确地控制位置、运动、构图和相机路径。它也是更容易做出来的产品：第一版主要需要场景生成、物体编辑、简单动画、相机和视频导出。
主要的风险是输出质量。视频生成也许能改善材质和视觉风格，但修不好糟糕的运动或镜头语言。整条管线可能是跑通的，但最终的视频还是达不到用户的预期。所以这个方向可能更适合风格化内容、社交视频、previs 和游戏预告片，而不是专业的影视制作。
方向二：AI 3D Game Studio
AI 3D Game Studio 会让人们通过自然语言生成、修改和分享可玩的 3D 网页游戏。用户描述一个游戏，马上就能玩，修改它的世界和规则，再把结果分享成一个可以 remix 的链接。
它的优势在于，粗糙的 3D 内容也能成立。低多边形资产和简单动画放在电影里可能显得没做完，但在游戏里可以成为一种正当的风格。这也形成了一个自然的循环：Create → Play → Share → Remix。
但游戏更难做得可靠。系统必须处理输入、物理、碰撞、游戏状态、UI，以及不可预测的玩家行为。第一版大概需要聚焦在受约束的品类上，比如飞行游戏、驾驶游戏、物理沙盒，或者小型的探索世界。
方向三：AI 3D World Builder
也可以不急着做选择，让产品先从 AI 3D World Builder 开始： 用 AI 创造可以渲染、也可以玩的 3D 世界。
在这里，主要的创作对象是世界，而不是视频或游戏。用户先生成并编辑一个结构化的环境，然后加上相机和动画把它渲染出来，或者加上控制和交互让它变得可玩。
这不是说要同时做一个完整的影视工具和一个完整的游戏引擎。第一版可以把 Render Lite（简单的相机、动画和视频导出）和 Play Lite（基础的控制、碰撞、交互，以及一个可分享的网页链接）结合起来。
这种做法可以让用户行为来指引下一步。如果大家主要在做视频，产品就可以加深 Director 方向的能力；如果大家花更多时间做可玩的体验，它就可以往 Game Studio 演进。主要的风险是，“搭一个世界”可能不如做一个视频或游戏那么具体，所以价值需要通过产出物来传达：从一个想法创造一个 3D 世界。把它变成视频，或者让它可以玩。
产品需要积累什么
一个把 Codex、Three.js 和视频模型简单包一层的产品，会随着底层模型的进步变得越来越容易被替代。一个能长久的产品，需要积累那些让创作更可靠、更可复用的能力。
| 层 | 核心能力 |
|---|---|
| Scene Runtime | 组织物体、关系、状态和时间 |
| Reusable Assets | 沉淀有用的建模、动画和交互技术 |
| Agent Runtime | 把用户意图转化成可靠的局部修改 |
| Interactive Runtime | 支持输入、规则、物理和反馈 |
| Generative Rendering | 把结构化的 3D 场景变成更好的画面 |
Scene Runtime、可复用资产和 Agent Runtime 构成了共同的基础。Interactive Runtime 支撑 Play，Generative Rendering 支撑 Render。它们合在一起，把一次性的代码生成变成一个持久的创作系统。
从资产到世界
随着产品的成长，人们分享的可以不只是静态模型，还有程序化资产、行为、游戏机制和完整的 World Template。这些不是做完的场景，而是 AI 可以继续修改和扩展的结构化世界。
这反映了 3D 创作里一个更大的转变：从静态的 mesh，到保留了结构、行为和意图的程序。一个为视频创造的世界，加上输入和规则就可以变成可交互的；一个为游戏创造的世界，加上相机和导演意图就可以变成视频。
两条路最终可能通向同一种形态：
一个 AI 原生的 World Studio，里面的世界可以被渲染、被游玩，并且被持续扩展。
更大的问题是：
如果今天为 AI 重建 3D 技术栈，我们应该怎么表示和创造一个世界？