黑芝麻智能：BEV感知将成为车载感知的主流发展方向

武汉2023年6月27日 /美通社/ — 近日，由黑芝麻智能主办的"2023智能汽车高峰论坛"会聚了众多行业专家和企业代表。在其中的软件论坛上，来自不用范畴的嘉宾配合探讨新形势下汽车软件行业的未来。黑芝麻智能深度学习研发高级总监王祚官在论坛上颁发了主题为"BEV感知，给自动驾驶开启‘上帝视角'"的主旨演讲，分享黑芝麻智能在BEV感知方面的研发进展。

感知质量更好的前融合方案

BEV是Bird's-Eye-View Perception的缩写，即俯瞰视角感知，简单而言就是融合车载多视角摄像头的输入，然后酿成俯瞰图的检测输出，可用于各类下游任务。

相校于传统的感知算法，BEV感知有明显上风。假如把多视角的感知看做一个融合进程，传统的感知算法可以看做是一个后融合方案，其典型做法是对每一路输入的视频做零丁检测，然后通过一些方式把检测成果融合起来。其缺点是会发生一些比力大的累计误差。

BEV感知则属于前融合感知，把图像特征先融合起来，直接天生BEV的检测成果，如此省去了很多中间步调，天生的感知成果质量比后融合方案的更好。

王祚官暗示，BEV感知能为自动驾驶感知任务提供有效的时空表征方式，将成为车载感知的主流发展偏向。

黑芝麻智能开辟多重亮点的BEV技术

王祚官先容，黑芝麻智能的BEV框架主要分三部分：第一部分是特征提取，对每一路输入的图像，提取其图像特征；第二部分是BEV的特征天生，包括空间的融合和时间的融合；第三部分是方针检测。

整体而言，黑芝麻智能开辟的BEV技术有诸多亮点：上下文感知增强的BEV投影，可自适应时空采样，可学习车道结构的码本，基于"BST渲染器"的实时矢量化舆图构建能力，连系"NeRF + LiDAR"的  Occupancy Grid Map（占位栅格舆图）功能 ，以及芯片自己的高效网络架构与强大性能。

在将图像投影到三维空间时，现有方式仅从一条光线中采样上下文特征。黑芝麻智能采用了上下文感知的增强BEV，图象包括很是丰富的场景信息，终极可以获得质量很是高的BEV。

空间的融合之后，紧接着就是时间的融合，典型做法是把当前均匀采样的帧融合在一起。但这样做有一个明显问题，即车辆停止的时候，采样会发生大量重复的帧，造成之前的路面信息丢失，致使算力浪费，而且感知范围会变小。黑芝麻智能的做法是增加了空间上的抽样，即按照车身信息，每隔一定的间隔做抽样，然后把空间抽样和时间抽样连系起来，作为最后的方针检测。通过这种方式，车辆在缓慢行驶甚至停止的情况下，仍然能够保证有较大的感知范围。

车道是高度法则化的结构，黑芝麻智能设计了用低维编码的方式来引入车道线的结构信息，学习并保存多种车道结构的码本(Codebook)，并在学习到的码本指导下进行猜测。

在车辆四周实时天生舆图对自动驾驶很是关键。可是，舆图通常包括很多种类的元素，比如车道线、人行道、停车位等，这给网络实时猜测四周舆图带来了困难。黑芝麻智能采用矢量的方式作为同一的表达方式，开辟了可微分的"BST-Renderer"，将各类舆图元素渲染成图像，然后对渲染出的图像进行练习。用一致的矢量暗示，的益处就是说，为后期的矢量舆图构建提供了便当。

在提到OCCUPANCY GRID时，王祚官暗示，一个空间是否被占据，暗示方式是把它离散化成等巨细的立方体，用一个参数来暗示这个立方体被占据的几率是几多。传统的典型做法是使用LiDAR信号，但会出现信号缺失或被遮挡的问题。黑芝麻智能设计了"NeRF + LiDAR"的方案，与仅使用 LiDAR相比，可端到端练习，充实连系图像信息和LiDAR信息，对被遮挡区域依然可以进行场景流监视，可使用无LiDAR数据集进行模子微调。

此外，BEV模子里面使用了很多Transformer模子，鉴于Transformer留意力机制的计较本钱较高，黑芝麻智能简化了计较，使其适合在边沿设备上运行。

自研高性能芯片为BEV模子落地提供支持

黑芝麻智能已将开辟的BEV模子摆设到旗下西岳二号A1000芯片上。A1000芯片拥有58TOPS(INT8)的强大算力，有矩阵运行单元和非线性运算单元，再加上DSP，能够满足行业需求。与此同时，BEV模子还可摆设在黑芝麻智能最新发布的武当系列C1200芯片上。该系列是业内首个智能汽车跨域计较芯片平台。

作为中国本土自动驾驶芯片的供给商之一，黑芝麻智能拥有全栈感知算法量产化能力，能够提供客户算法定制服务，支持第三方算法移植，多种算法交付方式等灵活的商业模式。这些感知算法能够加速而且助力一些中短期内智能领航和泊车应用产物快速落地，从而加速整个芯片的量产及应用。