作者 |林川
编辑 |景然
刚刚落幕的ICCV 2024大会，不仅将最佳论文奖授予了能从文本生成可搭建积木结构的BrickGPT，更在自动驾驶领域掀起新一轮技术思辨。特斯拉AI副总裁Ashok Elluswamy在“基础模型蒸馏与自动驾驶”专题论坛上的分享，首次系统性披露了FSD端到端架构与“神经世界模拟器”的融合逻辑，引发业界对“世界模型”路线的高度关注。
自2022年AI Day后，特斯拉对FSD的技术细节一直保持沉默，尤其在全面转向端到端架构之后，其性能飞跃却鲜有公开解读。此次Elluswamy的演讲，终于揭开了部分面纱：FSD如今以多摄像头视频、导航地图、车辆运动数据乃至音频信号为输入，通过单一神经网络直接输出控制指令，彻底打通感知、预测、决策与控制四大环节。这一设计与当前热议的“世界模型”理念高度契合——模型不再只是被动响应环境，而是主动“想象”未来几秒的世界演化，并据此评估行动后果。
特斯拉实现这一目标面临三大核心挑战。首先是“维度灾难”：仅视觉输入就包含7路摄像头、36帧/秒、数百万像素的高维流，叠加IMU、音频与地图信息，原始token量高达20亿。为满足车端实时性要求，特斯拉通过数据引擎提炼“关键token”，采用稀疏化与聚合策略，在保证精度的同时大幅压缩计算负载。其次是可解释性问题。为此，FSD在端到端主干中嵌入了全景分割、3D占据网络及生成式高斯喷溅（Generative Gaussian Splatting）等中间表征，后者能在220毫秒内完成动态场景重建，无需初始化即可联合训练，显著提升工程师对模型行为的理解能力。
最引人注目的是其闭环评测体系。特斯拉开发的“神经世界模拟器”并非传统回放式仿真，而是一个因果驱动的生成系统：给定当前状态与候选动作，它能生成物理一致、可交互的未来场景。这不仅支持对新策略的快速验证，还能主动合成极端或对抗性案例，用于长尾场景覆盖与安全边界测试。尽管未明言“世界模型”之名，但该模拟器本质上已具备世界模型的核心特征——在潜在空间中进行动作条件下的未来推演，并与车端模型形成训练—评估—部署的完整闭环。
所谓世界模型，正是一种能够压缩多模态感知、编码时空因果、并在内部“演练”行动后果的生成式系统。它超越了传统模块化架构的割裂，将环境理解与行为规划统一于一个可演化的内部表示之中。其关键能力包括：低维潜在状态建模、动作条件下的多步未来生成、多主体交互推理、不确定性表达，以及长期经验积累与迁移。正因如此，世界模型被视为通往L4级自动驾驶的关键路径。
在中国，这一技术路线已迅速落地。蔚来推出的NWM（Nio World Model）是首个量产上车的驾驶世界模型，可在100毫秒内推演216种未来场景，并实现“平行世界”中的动作评估。其配套的NSim神经仿真平台支持任意视角编辑与轨迹对齐，构建起“真实+合成”的双轮数据闭环。NWM已赋能多项主动安全功能，如驾驶员失能自动靠边、被追尾前500毫秒紧急制动、复杂停车场语义寻路等，展现出世界模型在微结构空间中的强大认知能力。
华为则另辟蹊径，提出WEWA架构——World Engine（云端）与World Action（车端）协同。其核心理念是跳过语言层，直接从多模态传感器信号生成控制指令。华为认为，VLA依赖语言抽象会损失空间精度，唯有端到端的“感知-行动”直连才能保障高级别自动驾驶的安全性。为此，问界M9等车型搭载四颗激光雷达，以高保真输入支撑车端World Action模型的实时决策，而云端World Engine则通过“梦境训练”持续优化世界表示。
与此同时，商汤绝影聚焦仿真侧，推出“开悟”世界模型与WorldSimDrive数据集。该平台可生成150秒、1080p、11视角时空一致的合成视频，日产能相当于百台实车采集。目前已有20%训练数据来自生成内容，有效弥补长尾场景缺口。上汽智己等车企正基于此构建端到端数据工厂，批量生成加塞、鬼探头等高风险案例。
当前，自动驾驶技术路线正分化为“世界模型”与“VLA”两大阵营。前者强调物理一致性与闭环推演，后者倚重语言大模型的常识推理。理想、小米等厂商力推VLA，试图通过语言链式思考提升系统可解释性；而特斯拉、蔚来、华为则押注世界模型，追求对三维动态世界的深度建模。正如李飞飞所言，真正的空间智能需超越“黑暗中的文字匠”，在物理世界中通过想象与互动来理解因果。无论终局如何，世界模型已然成为这场技术革命不可绕行的支点。
