黑芝麻智能基于雷视融合3D自动标注技术助力自动驾驶技术快速发展 …

上海2023年5月9日 /美通社/ — 越来越多的新车起头配备激光雷达，以进步车辆的自主平安性和实现更高级此外辅助驾驶以及自动驾驶能力。然而，纯人工3D标注和验收的效率低、耗时长、本钱高昂。而通过先进的AI技术，操纵车载激光雷达和多摄像头，可以自动地对车辆、行人、骑行人等动态道路使用者进行3D物体检测，进而高效率地辅助甚至部分替换纯人工标注。

日前，在由黑芝麻智能主办的"2023智能汽车高峰论坛"上，黑芝麻智能机械学习专家张蕾颁发了主题为"基于激光雷视融合的3D自动标注技术助力自动驾驶更上一层楼"的演讲，分享了黑芝麻智能在3D数据自动标注方面的研发进展。

自研系统性能方案比肩世界领先算法

在自动驾驶中需要用道路上方针物3D的位置进行计划和决策，但传统的摄像头解决方案对于深度和3D位置的估量不够正确。在采用了BEV技术以后，需要大量的真实3D标注的数据来辅助练习BEV上的3D模子，这样可以融合多个摄像头的信息，直接去获得3D世界的物体。

为此，黑芝麻智能自主设计和开辟了一套基于激光雷达和多摄像头进行3D自动标注的方案。该方案实行两阶段的方式，第一阶段是先通过量帧点云的方式和图像融合，获得初始的3D标注；第二阶段是以物体为中心的3D精调，进一步进步3D检测精准度。

对于3D物体框的精调，黑芝麻智能采用了两种分歧方案。静态物体在多帧点云对齐以后，可以获得一个密度很是高的单个物体点云。在单帧点云里即使看不到一个物体的全貌，但经过以物体为中心的点云融合以后，根基上可以看到完整的物体外形，这样可以更好地估量其尺微暇。另一方面，对于动态物体，它的轨迹会形成一个有用的信息，按照动态累计的点云也可以更好地估量其巨细和空间上的位置。

张蕾先容，黑芝麻智能的这一方案，融合了多种模态，今朝包括360度激光雷达和六个摄像头的信息，还有前融合和后融合的方式。在两阶段的模子里面，采用的是以物体为中心的点云对齐精调的方式，天生高度紧凑的3D方针检测框。而多帧激光雷达点云的时序融合，能有效填补单帧点云的稀疏和遮挡问题。同时，整个模子分歧阶段可以进行多种融合，下一阶段还可以在整个模子的分歧条理阶段进行融合。别的，在采用了跟图像检测做后融合的方式以后，黑芝麻智能还将检测物体的种别从三类扩大到十三类，而且还可以通过聚合的方式实现复杂不法则物体的检测。与此同时，黑芝麻智能的方案，采用了模块化设计，可按照分歧需求增加、去除可选的处置环节，到达最优化效益。

按照在Waymo公开数据上测试的成果，黑芝麻智能3D 物体自动标注系统的性能可以比肩世界领先算法的性能。

自建数据收集系统与完整的云服务平台

基于西岳二号A1000芯片，黑芝麻智能还可同时提供传感器收集设备，客户可基于这套设备同步收集360度旋转激光雷达和6个1080p摄像头数据，同时收集IMU、GPS、轮速编码器等多种数据。

黑芝麻智能还可以对这一3D自动标注系统做进一步扩大，包括通过差别化的多模子集成来进一步进步算法正确度，通过运行时的数据增强来进一步进步算法正确度，通过半监视学习和自监视学习来练习更好的模子，通过在神经网络深层结构上的多传感器融合来进一步进步模子能力，通过融合聚类方式来检测未知的路面障碍物等等。

张蕾在演讲结尾时暗示，在开辟基于激光雷达和多摄像头的自动驾驶范畴的 3D 物体自动标注系统的同时，黑芝麻智能可为客户提供数据收集、数据预处置、3D 自动标注、人工标注及检验的云服务平台。