黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫

武汉2023年6月26日 /美通社/ — 近日，黑芝麻智能发布了武当系列智能汽车跨域计较平台及其首款芯片C1200。C1200的特色之一在于搭载了黑芝麻智能新一代自研NeuralIQ ISP模块，为图形计较提供更精准的数据。在由黑芝麻智能主办的"2023智能汽车芯片高峰论坛"上，公司图像科学总监王超颁发主题为"黑芝麻智能NerualIQ ISP技术让汽车洞察秋毫"的演讲，全面解析这一技术。

通常情况下，ISP有很多常见的处置模块，比如利剑平衡、自动曝光控制、自动对焦等。黑芝麻智能的NeuralIQ ISP在安防、手机、汽车三大场景具有全平台的处置能力。三种场景对ISP的要求不尽相同。王超先容，针对车载应用，黑芝麻智能对ISP进行了三风雅面的优化。

算法优化

算法层面的优化涉及到无帧延时的多帧降噪、夜晚去运动模糊、高亮高饱和区域色彩和细节连结、分歧光谱sensor的色彩一致性四个方面。

黑芝麻智能设计了无帧延时的多帧降噪，去噪的同时连结多帧图像的特征。在ISP里尽量保存多帧图像共有的信息，使得对外界情况的可读性获得提升。

运动模糊的宽度取决于在曝光时间内运动物体投影在像素平面上的宽度，针对夜晚情况下的运动模糊情况，黑芝麻智能采用了减曝光+增增益+多帧降噪的方案，使得夜晚运动模糊时的图像质量获得更进一步进步。

交通环节有很多重要信息都是比力高亮、高饱和的信息，黑芝麻智能通过算法改良实现了颜色改正、细节连结，从而为后真个感知算法提供加倍正确的数据。

有效的色彩治理手段(AWB/CCM/3DLut等)不只使得常见光谱种类的sensor的输出图像的色彩一致，针对分歧光谱种类sensor的数据也可以做到色彩一致化。黑芝麻智能通过RGBIr的色彩处置和恢复，在即使有红外影响的情况下，也可以获得和人类感知比力一致的颜色，为后端感知算法提供加倍一致的输入。

IP设计优化

算法上优化之外，黑芝麻智能在ISP的IP设计上也进行了优化。比如，车载情况下需要应用的相机越来越多，黑芝麻智能通过IP设计手段，使用可以同享的逻辑来处置多个数据，让一系列的计较逻辑可以被复用，以此方式削减芯片面积。

同时，黑芝麻智能的NeuralIQ ISP支持在线处置模式，可以用来削减车载图像的处置数据延时。简单而言，从第一个数据输入到ISP输出第一个数据，在线处置模式的延时一般小于2毫秒。

全面的ISP IQ调试流程

对于ISP的调试工作，黑芝麻智能为NeuralIQ ISP模块设置了模组性能检查，模组参数标定和调优，并配备调试工具。

模组性能检查涉及模组缺陷、MTF、DOF、炫光、红外、漏光等。模组参数标定和调优包括镜头暗角标定（LSC）、色彩校正矩阵标定（CCM）、利剑平衡标定（AWB）、噪声标定和调试。

在此根本上，黑芝麻智能会对NeuralIQ ISP进行客观和主观的测试工作。客观从镜头亮度阴影、镜头色度阴影、色彩正确性、利剑平衡正确性和灰阶测试几方面展开。主观测试则是在车载的主观场景下进行，例如利剑天、黑夜、日落等光照情况，隧道、车库收支口、交通讯号灯、车道线、十字路口等特殊情况，以及波动路面、反光路面、极暗光照等极端情况。

NeuralIQ ISP是黑芝麻智能两大焦点自研IP之一，适用于智能驾驶环视感知、前视感知、驾驶监控等应用场景。王超暗示："希望我们的ISP能够使接入的车载相机获得更公道的图像效果，提供给后端感知算法使用，帮助自动驾驶能够更顺利地向前一步。"