日发期货

“自动驾驶的条件是平安与严谨，大模子给出'差不多'的效果是不行的。”

在今年4月初，大模子刚刚问世时，一位自动驾驶领域的资深投资人向「自象限」表达了，他对通用大模子应用在自动驾驶领域的担忧。

不被看好的缘故原由有许多，好比大模子“乱说八道”的问题，导致人人以为它达不到自动驾驶的平安品级要求；好比人人以为大模子解决的是共性推演的问题，但自动驾驶解决的0.5%的corner case；再好比大模子要在车端落地，需要与连系前融合算法，对前端算力的要求会很高。

总而言之，通用大模子的不确定性和自动驾驶的严谨性像一个硬币的两面，落地上也面临着几座短期内难以翻越的大山。“这会是整个系统建设的问题，不是角度算法可以改变的。”这位投资人云云总结道。

只管不被看好，但6个月事后，大模子照样以一种野蛮的方式冲进了自动驾驶行业。

打响*枪的，仍然是特斯拉。今年8月，特斯拉端到端AI自动驾驶系统FSD Beta V12首次公然亮相，完全依赖车载摄像头和神经网络来识别蹊径和交通情形，并做出响应的决议。海内，自动驾驶和大模子公司都最先紧锣密鼓的结构，9月，华为盘古大模子3.0推出了自动驾驶行业大模子；10月，在毫末第九届AI Day中，也解说了其身处自动驾驶领域对大模子的一系列探索。

从效果来看，现在大模子对自动驾驶的改变分为两个偏向：一是大模子作为工具，辅助自动驾驶算法的训练，优化历程；二是大模子作为决议模子，直接驾驶车辆，改变效果。

透过海内外的探索，这条看似相悖的手艺路径似乎最先一步步清晰，那么大模子事实能给自动驾驶带来了什么？焦点的手艺难题又该若何解决？

01 大模子，替换自动驾驶训练引擎

首先，大模子正在重塑自动驾驶的训练历程。

从大模子被讨论的*天最先，从文本到图片天生，人人就深刻意识到大模子在提高事情效率上的伟大潜力。这一点，在自动驾驶训练上也不破例。

训练自动驾驶算法，是一个漫长而重大的工程，从数据采集、传输、治理；到数据洗濯、标注、准备，到最后投入到训练自动驾驶算法的熔炉当中，中央会涉及到数十个环节。

而现在困扰自动驾驶生长的焦点问题也来自于此，一个是随着绝大部门通例问题被解决，有用数据的网络难度越来越大；其次则是随着数据规模的增添，数据处置的成本也越来越高。

图为自动驾驶训练历程

首先是数据网络的问题。当自动驾驶走入最后0.5%的corner case阶段，场景数据在现实天下就变得可遇不能求。

为了应对这些问题，特斯拉、Waymo、Cruise等企业都在差异水平使用合成数据来模拟真实天下来训练自动驾驶。

但这种方式也存在一些坏处，好比合成数据虽然能轻松天生大量数据，提高自动驾驶训练数据的多样性。但作为人工天生的数据，合成数据并不能完全模拟真实天下的庞大和转变。太过使用合成数据，会导致自动驾驶泛起“纸上谈兵”的征象，即在训练时显示很好，但一上路就不行，这种情形被称为太过拟合。

而针对这样的问题，大模子提供了一种新的解决方案。

好比使用大模子举行数据天生的手艺——迁徙天生。它可以基于一个真实的场景，快速天生差异时间、差异环境的情形。好比拍摄一张街道春天的照片，大模子可以快速天生这条街道雨天、起风、下雪等差异条件、差异季节的情形。

这么做的利益在于“可控”，自动驾驶训练可以凭证一些特定的需要天生一些特定的场景，而更主要的是，这些场景中包罗一些真实数据，在增添训练场景厚实性的同时，又可以阻止太过拟合的情形。

现在已经有厂商在逐步实验，毫末CEO顾维灏在AI Day中便提到了该手艺，清华智能产业研究院（AIR） 提出的自动驾驶模子也有类似的设置，在他们的设定中，模子会提出怎样获取差其余数据，包罗真实天下数据和仿真数据。然后这些数据要经由受控管道举行整理，再经由感知和决议两大模子，最终为车辆提供决议。

其次是数据标注，数据标注并不是一次性完成的，统一张照片，差异时期，依据需要解决问题的差异，需要标注的器械也不太一样。

好比一最先需要解决的是车辆识其余问题，那么照片中重点标注的是差其余车辆，厥后要解决红绿灯识其余问题，重点标注的可能就是红绿灯。总之，数据标注是一个频频，且逐步细化的历程，因此难度和成本也在连续增添。

在外洋，特斯拉最早启动数据自动标注，这让原来需要几个月时间的事情可以在几周内完成。2022年6月，得益于效率的提升，特斯拉裁掉了其位于加利福尼亚圣马特奥做事处的绝大部门数据标注员工。

特斯拉之后，海内自动驾驶企业也最先跟进，将自动标注使用到一样平常训练中。作为特斯拉的”中国学徒“，顾维灏先容了毫末使用大模子举行数据标注的案例。

其运用大语言模子和多模态的能力，通过将图文和文图交织的特征做匹配的，然后再将其放到大语言模子中，针对形成于特征空间的搜索（query）特征。在这样的基础上，大模子就可以在不需要做太多准备的情形下，将之前没有标注过的，想要标注的内容标注出来。

整体上，大模子的接入优化了自动驾驶的训练历程。

若是将训练自动驾驶算法比作是金字塔的修建，那么大模子的加入，就犹如将曾经依赖人力堆砌的石块，替换成现代化的起重机，加速了自动驾驶的“搭建”历程。

02 大模子，让自动驾驶“长出脑子”

在自动驾驶训练中，大模子就像全职助手一样不停提高算法训练的效率。但这也仅仅只是工程上的优化，大模子给自动驾驶带来的，另有更深条理改变。

这个问题要回到自动驾驶是若何举行事情的。

在大模子泛起之前，自动驾驶是义务驱动的。即程序员依据一些特定的场景，编写一些解决方案的代码，当车辆在行驶历程中感知到响应的情形，便根据之前设定好方式处置。

在这个基础上，自动驾驶的生长就酿成：发现一个问题，网络一些数据，然后训练一个小模子来解决这个问题，然后再发现新的问题，云云循环。

但这种模式对于问题的解决具有一定的滞后性，即问题要先被发现，然后等一段时间才气被解决。其次是泛化问题，即在统一个问题在炎天解决了并纷歧定在冬天解决。也正是由于云云，自动驾驶才有解决不完的corner case。

这些问题，现实指向的实在是传统自动驾驶算法“照本宣科”式的事情模式，并没有真正熟悉天下、明白天下，即自动驾驶并没有灵魂。

大模子的泛起则为这个问题的解决给出了偏向，就像大模子让虚拟人、让语音助手都长出“脑子”一样，大模子也在让自动驾驶长出“脑子”。

养生茶饮生存调查

特斯拉的“端到端”手艺又叫作“感知决议一体化”，也就是将“感知”和“决议”融合到一个模子中，直接对车下达指令，控制车辆，这样输入传感器信号后可以直接输出车控信号，大大降低了级联误差的概率，也因此大大提升了系统性能的上限，整体潜力极大。

图源马斯克Twitter

现在海内还未能做到真正的“端到端”，好比毫末DriveGPT仍然分为感知大模子和认知大模子两部门。

感知大模子除了要凭证车端输入的信号做三维重修，还要加上时序特征形成一个四维空间。在此基础上，毫末引入多模态大模子，多模态大模子已经做了许多文本和对齐的事情，这个时刻再和4D语义空间做对齐，就可以把自动驾驶传感器看到的这些器械所有语义化，这样就形成了通用的，识别万物的能力。

而有了这样的能力之后，连系认知大模子就可以连系驾驶时的信息和行驶目的，好比直行、变道、左转等信息，给出响应的驾驶决媾和驾驶注释，然后大模子将其转化为自动驾驶的语言，通过Drive Prompt和自动驾驶系统做交互。

本质上，大模子就像是自动驾驶的“领航员”和“翻译官”，它明白驾驶的目的和意图，它识别和感知环境，然后做出决议并将其翻译成自动驾驶的语言，向自动驾驶系统下达合适的指令。

固然，从人的角度来讲，驾驶车辆的历程需要的除了识别万物，另有对环境中所有物体运动偏向的预判，这样才气在面临庞大交通环境时提前做出反映。

大模子同样对自动驾驶带来了这方面的改善。

2022年，特斯拉在年底的AI Day上就曾提出过一个名叫交互搜索（Interaction Search）的设计模子，其主要由树搜索，神经网络轨迹设计和轨迹打分三部门组成，可以有用展望蹊径交通介入主体的行为轨迹。

从这可以看到，自动驾驶的决议已经从之前，依赖单一信息举行漫衍决议，酿成了多种信息汇总之后的统一决议。

自动驾驶的决议路径

即大模子的决议越来越像是一个整体。

目宿世成未来天下这项手艺可以凭证当前的视频、图片，天生未来2~5秒的情形，其展望2s后准确率到达85%，这可以让AI对未来有一些预判。同时，展望未来的手艺也可以用在自动驾驶训练上，好比可以天生未来的图片，然后基于真实图片和天生的未来的图片再举行自监视学习，以此来提升整个视觉大模子识其余判断的能力。

它让自动驾驶越来越成为一个“整体”，正如清华大学智能产业研究院院长张亚勤说的那样，“AI 大模子带来了从判别式 AI 到天生式 AI 的新手艺范式变化，自动驾驶到达最后的平安、可靠阶段一定是端到端方式实现。”

03 自动驾驶的底层进化

成为“整体”，自动驾驶中关于这个的讨论实在并不是在大模子热度起来之后才最先的。

2022年，当关于自动驾驶的讨论还聚焦在芯片和电子电气架构的时刻，全球著名的汽车零部件供应商博世曾提出，汽车电子电气架构将从漫衍式向域集中式和中央盘算过渡。

早期的汽车电子电气架构是以ECU（Electronic Control Unit 电子控制单元）为主，一辆汽车通常有30到100个ECU不等，划分控制汽车的引擎、变速器、制动等等功效。随着汽车智能化的历程，相关功效的ECU逐渐被整合成域控制器，现在智能汽车通常有动力域、底盘域、车身域、座舱域和自动驾驶域五个。

在这个基础上，智能汽车的电气架构还在向一个“整体”演变，最终将会形成由一个统一中央盘算单元控制的形式。2016年，特斯拉宣布的Model 3实现了中央域控制架构的雏形，那时被行业以为在电子电气架构方面*传统车企6年以上。

从“散装”到“整体”，这是智能汽车硬件层面的转变，这种转变也推动着自动驾驶软件层面向一个“整体”生长，而契机就是大模子。

关于自动驾驶与大模子，张亚勤提到，“自动驾驶不是一个模子，而是多个模子的组合。”这实在正好对应智能汽车硬件域控制器的生长阶段。

这也是华为盘古大模子3.0的思绪，华为云EI服务产物部部长尤鹏以为，通过数智融合架构打破数据、AI资源治理界限，在一个平台即可完成开发、测试、交付上线事情，让营业创新提效2倍，实现数据加速；借助盘古大模子在认知、感知、决议、优化等全领域的能力，车企可以快速基于盘古训练出自己需要的模子，实现算法加速；同时，华为还提供底层升腾算力平台，解决自动驾驶对算力的高需求，做到千卡训练数月不中止，买通“全链路”，实现算力加速。

“全链路的模子化是3.0时代的一个主要的演进思绪，最终演酿成端到端的大模子。”顾维灏说。

而一旦完成了全链路的买通，这样的改变带来的将是大局限且高速迭代。正是由于“端到端”手艺，马斯克曾放出豪言“将可能在今年年底实现完全的自动驾驶”。这句话虽然不清扫马斯克吹牛的因素，但我们也可以从中看出“端到端”手艺的伟大潜力。

总的而言，对于自动驾驶来说，大模子并不是一种决议方式，也不但单是指一种手艺，而更应该是自动驾驶生长的一种最终形态。

固然，虽然大模子给自动驾驶的落地带来了伟大的想象力，但现实的应用和落地历程仍然面临许多问题。

好比最直接的问题就是若何将云端大模子的能力应用到车端。

现在行业普遍应用的方式有三种：

*种是将大模子蒸馏到小模子，应用到车端。这详细又分为两种蹊径，一种是通过大模子给数据打标签，监视小模子学习；另一种是将大模子上的Feature map 和小模子上的Feature map举行对齐，然厥后完成小模子能力的提升。

从毫末宣布的事情效率来看，一个模子的蒸馏需要好几个月，但能够辅助自动驾驶车端模子在个体义务上的感知指标提升5%。

第二种是在云端通过大模子构建一种能力，然后再通过减脂、蒸馏等方式将大模子的能力蒸馏到车端的小模子上，来完成车端小模子的提高。

第三种则是直接使用云端大模子。事实虽然云端传输会晤临信号、平安、延迟等问题的困扰，但也并不意味着所有决议都需要在车端完成。云端大模子具有更强的泛化能力和注释能力，对于义务实时性和网络信号较好的地方，也存在可能让车端的一些通讯和云端大模子举行交流，然后让云端大模子完成车端事情的情形。

除了从将大模子运用到车端之外，大模子指导的自动驾驶另有许多人类生涯的知识需要学习。好比路沿的偏向是不是能走，面临多个路口的时刻各个偏向是不是一定根据车道线走，这些在现实交通实践中约定俗成的器械大模子还无法掌握。

“现在解决这些问题就需要加许多约束，而一旦加约束，这个系统就变得不伶俐晰。”顾维灏提出了其中的逻辑悖论。

以是若何去解决这些问题，又若何施展大模子的优势成为未来很长时间自动驾驶的考题，事实当前大模子对于自动驾驶的改变，也只是*声枪响而已。