高级自动驾驶的本质是什么?

七、智能决策-高级自动驾驶

高级自动驾驶是新能源汽车智能化最重要的战场。例如，新能源汽车对燃料汽车的打击的关键在于汽车成本的大幅降低。无人驾驶最大的驱动因素是旅游成本的大幅降低。成本和效率是交通领域的永恒话题Robotaxi汽车利用率大幅上升，规模越大，成本越低，吸引了许多巨头和初创公司。

碰巧中美在高级自动驾驶领域代表了不同系统对共同目标的不同选择。特斯拉在美国Waymo成功恰巧强调了个人渐进式自行车智能的胜利，Google虽然地图资源庞大，算法和硬件能力强，但在美国土壤上并没有取得预期的成功。中国选择了一条完全不同的道路，就像中国人对国家体制优势的痴迷也符合中国基础设施狂人的一贯调性一样。无论是全国道路改造、统一的技术规范、全国路端网络联通，对世界上任何其他国家来说都是不可能的大问题。

与特斯拉全球畅销，FSD与高级自动驾驶相比，我国道路协调路线发展不够顺利，资产投资重，难以商业化等问题使得当前道路协调仍局限于部分自动驾驶示范区，全国推广仍遥不可及。高级自动驾驶的本质是什么？我们认为，人类从繁琐的日常工作中解放出来，即解放生产力。解放生产力是为了提高人们的物质文化生活水平，不断满足人们日益增长的物质生活和精神生活需求。改革是对旧的生产关系和上层建筑的局部或根本调整。我们提取了改革、旧生产关系、上层建筑等以下关键词。回到高级自动驾驶的话题，不难发现改革是技术创新、算法和数据的积累，上层建筑是交通法规和道德规范，生产关系是车辆的所有权。

例如，如果交通法规发生变化，假设两条路线也实现了高级自动驾驶，谁能更快地适应新的交通法规呢？无疑是车路协同路线。因此，两者的目标并不完全一致。从技术角度来看，特斯拉路线背后是深度学习和神经网络的广泛应用，难度较大，解释性较弱。99到100分可能需要几年的时间才能实现最终目标。道路协调的背后是规则，即50分+50分。显然，50分比99人更容易实现，双向行驶效率更高，汽车总是需要在路上行驶。我们认为，美国的高级自动驾驶已经达到了瓶颈阶段，中国正准备出发。闭环完成后，整个行业将迎来快速增长。

（一）以BEV基础视觉方向将迎来最大的发展机遇

1．特斯拉将BEV带入大众视野

特斯拉通过不同的汽车收集数据共同构建一个通用的感知网络架构，但不同的汽车由于相机安装参数的差异，可能导致收集数据的小偏差，因此特斯拉在感知框架中添加了一层虚拟标准相机从而实现各摄像头原始数据的校准（Rectify）消除外参误差，确保数据一致性。

BEV layer：

• 基于视觉的算法缺乏3D信息，当平面映射到三维独立坐标时，不可避免地会出现偏差，这也是许多公司选择毫米波雷达或激光雷达辅助提供深度信息，如果忽略独立坐标系的高度信息，即BEV(鸟瞰)坐标。

• 以前视觉方案更多的是通过地平面作为参考，通过算法获取深度信息，然后拼接多摄像头BEV的转换。2020年下半年版本FSD Beta中间，特斯拉使用图像直接通过神经网络实现BEV即将输入的2D图像空间的特征层转换为BEV特征图层在自车坐标下的过程。（Fully Connected＆ Cross attention）

资料来源：特斯拉

BEV网络的优势不仅在于使用感知输出到3D直接决策和规划向量空间，BEV该方法仍然是一个非常有效的多相机集成框架BEV跨多个相机附近的大目标尺寸估计和跟踪变得更加准确和稳定，原本很难正确相关，同时，该方案也使算法在短时间内阻挡和丢失一个或多个相机。

2．BEV学术探索

BEV实现方法可分为3D到2D以及从2D到3D思路又包括两大类Psuedo－Lidar track、center－point track、Depth penertration、和直接做BEV几类视角变换。自2021年以来，BEV从2021年7月清华和MIT提出的HDMapNet12月提出的鉴智机器人BEVDet，到22年3月，达摩院和MIT提出的BEVFusion。BEV多模态集成技术将感知算法的发展推向了一个新的高度，边缘部署将变得更加简单，这意味着在计算能力较低的情况下可以实现相同的精度，这对辅助驾驶/高级自动驾驶的商业着陆具有重要价值。

数据来源:鉴智机器人

（二）Occupancy Network

2022年特斯拉AI Day提出了新概念，即Occupancy Network。借鉴机器人领域常用的思想，基于occupancy grid mapping，在线3是一种简单的形式d重建。将世界划分为一系列网格单元，然后定义哪个单元被占用，哪个单元是空闲的。通过预测3d占据空间的概率获得一个简单的3D空间表示。occupancy network是对于BEV因为BEV从视角上看，缺乏高信息可能会导致驾驶区域检测出现一些挑战。例如，一些神经网络数据集中的对象反馈不好，悬挂的障碍物难以感知，无法看穿障碍物等。

为了解决上述问题，特斯拉将世界分为小立方体，预测每个立方体是否被占用，这与以往给每个物体一个矩形的方式完全不同。对于没有在数据集中标记的物体，特别是地平线深度不一致、物体形状固定、静态和移动物体、屏蔽和本体裂缝等问题，可以有更好的效果，同时内存占用较少。另外NeRF(神经辐射场)的应用也是特斯拉探索的方向Occupancy模型和Nerf比较离线训练获得的模型，以预测3D场景是否与地图相匹配（NeRF产生3D重建）。

(三)时空序列

单纯依靠HydraNet和BEV连续信息丢失的问题仍然存在，因为它们只使用单个时刻的多个图像作为感知输入。人们对速度和空间的感知来自时间维度FSD还需要具备处理连续时空序列数据的能力，才能正确处理城市环境中常见的闪烁交通灯，区分临时停车和路边静止车辆，预测周围物体和自行车的相对速度，根据历史信息预测参与交通的物体的运行轨迹，解决一段时间的屏蔽问题，记住刚刚打开的速度标志，车道行驶方向等。换句话说，FSD短期记忆需要赋予。

如果汽车停在红绿灯十字路口，汽车在到达十字路口之前观察到车道允许箭头的方向，但如果只是依靠时间队列，那么当红灯很长时间，前面观察到的车道方向最终会被遗忘，但如果引入空间队列，那么因为红灯没有移动，无论在红绿灯十字路口停车多久，空间队列仍然可以保留对车道方向的记忆。

(四)规划与决策

规划和决策是指路径规划和行为决策：路径规划是指具体的运动轨迹设计；行为决策主要是指抽象的驾驶决策，如是否跟随汽车、换道、刹车等。

决策主要包括两个方面，一个是车辆本身的形式决策，另一个是对其他车辆行为的预测。

• 对交通参与者的预测：对交通参与者的预测可以通过多种算法实现，构建一套运动模型。常用的解决方案是通过高斯噪声代表交通参与者运动的不确定性，因为大多数参与者的行为必须服从正态分布，所以整个模型构建可以被视为一个高斯过程。预测交通参与者的行为和意图可以看作是一个动态的时间过程，可以用于深度学习LSTM这种循环神经网络解决了相应的问题。

• 决定车辆自身行为：

每种行为的整体决策环节都很长，每一步都相互影响。因此，这种自动驾驶车辆行为决策的功能可以看作是一系列概率的奖励，也可以看作是马尔科夫的决策过程。

规划和决策最大的挑战之一就是很难找到全球连续最优的方案，因为行为空间本身就是一个Non－convex局部最小值难以解决(非凸性)问题。其次，汽车需要10-15s预测和规划之后，会产生大量的参数，这是一个高维问题。

• 基于（离散）搜索的方法可以更好地解决非凸问题，但很难解决高维问题，不包括梯度信息，因为你必须搜索所有点才能知道哪些是最好的；

• 基于梯度，连续(值)优化可以快速找到最合适的方案，但很容易出现局部最小值。

特斯拉的解决方案可以概括如下：只有唯一的解决方案，可以直接生成明确的控制方案，对于多个可选方案的复杂问题，使用向量空间和感知网络提取中间特征训练神经网络规划器，获得轨迹分布，然后集成成本函数、人工干预数据或其他模拟模拟数据，获得最佳控制方案，最终生成汽车转向、加速、制动等控制指令，汽车自动驾驶由汽车执行模块接受控制指令。

• 目前的规划和决策主要是通过sequential planning、behavior－awareplanning、以及end－to－end planning三种方法。sequential planning感知、决策和控制是最传统的方法，behavior－aware planning引进了人机共驾、车路协调、车辆对外部动态环境的风险预测等，end－to－endplanning基于DL、DRL技术，借助大量数据进行训练，从图像等感知信息到方向盘转角等车辆控制输入的关系。

(5)影响高级自动驾驶的核心因素

人类对自动驾驶的探索早在20世纪80年代和90年代就开始了。发展过程是基于自动驾驶数据流的顺序，从传感器到定位、感知到决策规划和控制。早期研究传感器，2007年开始研究定位和初级感知SLAM技术，09年Waymo10年后，感知在计算机视觉深度学习中的应用基本形成了一个框架。14-16年深度学习在感知中应用的改进，让人类看到了自动驾驶的曙光。

从技术层面来看，现阶段控制相关技术相对成熟，下游主要问题集中在预测、决策和规划上。目前，关于决策的定义存在许多争论。例如，交通法规中存在灰色地方，代码转换为人类思维方式仍处于探索阶段。预测可以说是自动驾驶学术界最活跃的领域。

对于预测和决策的规划，每个自动驾驶员的框架都是不同的。没有办法确定未来的方向，无论是部分搜索、部分数值优化，还是端到端机器学习（主要是美国制造商），还是加强学习。

随着特斯拉FSD在自动驾驶的许多创新成果中，渐进的高级自动驾驶已成为市场的热门方向；封闭场景自动驾驶着陆也催生了其他汽车制造商进入，小鹏、威莱、集中等推出了高级自动驾驶计划。我们认为高级自动驾驶和大规模生产能力是竞争的关键，对于长坡厚雪自动驾驶轨道，融资能力和自我造血能力同样重要，高级自动驾驶技术角度尚未达到数据和技术完美闭环阶段，长期人类仍需要减少资源消耗和Conner Case不断积累。

八、总结

1．E／E随着架构的变化，软件定义汽车的趋势已成为未来新能源汽车的范式，但各主机厂的路径不同。与强大的主机厂相比，T1.竞合态势会更强，黑盒到白盒的变化也会更强T提出了差异化要求；

2.不同于三电系统，国际T1在控制领域仍有明显的先发优势。在缺芯环境下，主机制造商的供需催生了本地化的机遇。国内制造商有望以其当地的成本和服务优势打破国际T对于一些核心部件的垄断，预计中国汽车供应链在未来将有实力和国际实力T1.在国内/全球层面竞争；

3．L2+随着整体技术和工程的进步，已达到渗透率的拐点，大规模生产的速度可能超出预期；供应商率先赢得以比亚迪和广汽埃安为代表的中端A、B目标车型将占据行业制高点；

4.智能驾驶舱仍然是原始设备制造商毛利润的重要来源。显性配置的优势对消费者更具自然吸引力，但盲目花哨的功能堆积离开汽车的本质意义不大。核心是驾驶舱与其他部件的交互设计和成本控制能力；

5.高级自动驾驶短期内仍难以大规模生产，近年来感知学术探索有望加快视觉路线自行车智能的发展，预计激光雷达成本降低，但现阶段监管仍不是特别成熟的方法，行业需要更激进的国内原始设备制造商作为鲶鱼。