大模型在自动驾驶中的落地节奏

1. 感知端：BEV+Transformer 替代高精地图+激光雷达方案，大幅降低 BOM 成本。

2. 规控端：22 年特斯拉 AI Day 标志着规控端基于神经网络的大模型开始应用，23 年 FSD V11.3/11.4 在控制上更加老司机，因为大模型的泛化能力很强。

3. 端到端：摒弃模块化，V12 不再区分感知归控决策这些模块了，直接是一个大模型实现从视频流的输入到执行结果的输出，从输入端到输出端，，解决了之前只是局部最优的解决方案，现在可以实现全局最优。所以整个模型的架构效率都得到了大幅的提升，迭代的速度加快（相对于原来需要进行标注的预训练，现在演变为无监督训练），对于整个事物的认知和规则的认知都是模型自己去完成的。

L3（V11）、L4（V12）级别的自动驾驶，真正能够推动软件收费的商业模式落地，加强整个消费者对于自动驾驶的付费意愿。自动驾驶会真正成为核心卖点，对于销量会有明显的拉动的作用。所以 l3l4 级的自动驾驶也会成为整个车企竞争的核心的一个阶段，整个车厂都在全面的推进这块的研发投入和产业链落地。

V11 每个环节具体的算法怎么实现？

感知物体→预测感知物的行动轨迹→根据轨迹做决策。

感知环节算法实现

(1) 自动驾驶的感知环节的任务

感知与交通相关的外部环境，包括检测、分类、跟踪、语义分割。

(2) 感知环节的具体任务

检测：检测物体以及物体的位置，如人、车、交通路标、交通指示牌、雪糕桶、道路的边缘操作线等。

分类：判断物体的属性，如交通标志、红绿灯、指示牌、雪糕桶等。

跟踪：跟踪移动物体的轨迹并进行预测，为后续的预测提供准备。

语义分割：将目标物体的边缘分割出来，包括道路、天空、车辆等。

(3) 感知环节在自动驾驶中的重要性

感知是原先自动驾驶算法中最重要的环节，是自动驾驶的核心。对于自动驾驶来说，要感知与交通相关的外部环境，以进行后续的决策和规划。

规划和决策算法实现

(1) 规划和决策的逻辑

了解现状→预测人车物未来路线→规划和决策，执行控制。

(2) 规划和决策的具体任务

全局路径规划：根据起点、终点决定如何前往，是全局的规划。原来更多的是通过高精度地图告诉你怎么过去，现在是通过低精度地图以及目前实时观测到的路况去做灵活的一个决策。

行为规划：根据感知和对车辆未来的预测，在遇到其他车辆时做出的决策，如等待对方通过、绕行、换道等。

自身运动规划：在确定某种行为后，确定自身车辆的运动规划，如转动方向盘的角度、速度等。

(3) 规划和决策对自动驾驶体验的影响

一连串规划和决策的好坏会影响整个自动驾驶的体验，一些车的规划控制做得很好，给人很流畅的感觉，而其他车辆可能处理比较生硬，体验相对较差。

*原理详解*