数字信号处理器近年来在智能驾驶中发挥了重要作用,尤其是在视觉处理方面。摄像头的使用激增,车辆对复杂视觉应用的处理能力需求不断提升。

  为满足这些需求,DSP的架构需要具备高效性、低功耗和易编程性。围绕“鸟瞰图”(BEV,Birds Eye View)功能,来介绍一些基础知识。

  汽车视觉系统中,鸟瞰图功能通过组合来自四个鱼眼摄像头(分别安装在车辆前、后、左、右)的图像,生成360度的全方位视图。这种功能不仅能帮助驾驶员消除盲点,提升停车精度,为智能驾驶提供了关键的视觉支持。

  为了确保图像处理的精度与实时性,DSP需要处理大量数据,并执行复杂的几何校正和图像拼接任务。

  在校准模式下,车辆会停在已知图案(例如棋盘格)上,通过鱼眼镜头获取图像,生成顶部的单应性矩阵(homography matrix),该矩阵用于将多个摄像头视角合成为无缝的全景图。校准完成后,车辆可以进入运行模式,在实际行驶中持续应用该校准结果。

  车辆在行驶中由于震动、道路不平或其他外部因素可能会导致摄像头位置发生轻微偏移,从而影响原本的校准结果。

  为此,DSP提供了在线几何校正功能,通过实时调整单应性矩阵,确保车辆在运行时依然能够生成高质量的鸟瞰图。

  ● 鱼眼镜头去畸变:鱼眼镜头的图像存在显著的几何畸变,OpenCV库中的等距投影模型用于校正这一问题。通过将图像映射到球面坐标系,消除畸变,生成未失真的图像。

  ● 单应性校正:单应性矩阵是图像拼接的核心,用于将不同摄像头的视角转换为一个统一的平面。通过检测和匹配多个图像中的关键点,生成相应的单应性校正矩阵,确保多视角的图像能够无缝拼接。

  ● FAST9关键点检测与ORB描述符计算:在图像中找到显著的关键点(例如角点),是实现精确拼接的关键。BEV功能采用FAST9算法来检测关键点,并利用ORB(定向二进制鲁棒独立特征)描述符对这些关键点进行编码,以确保图像特征的稳定性和匹配准确度。

  ● 光束法平差与捆绑调整:在拼接不同摄像头的图像时,重叠区域可能会出现视觉伪影(如边缘模糊、轮廓线不匹配等)。光束法平差通过优化所有重叠区域的关键点匹配,消除这些伪影,确保输出图像的一致性和精度。

  通过鸟瞰图,驾驶员可以清晰地看到车辆四周的环境,避免盲点中潜在的碰撞风险,尤其在狭小空间中停车时尤为有用。

  在自动驾驶和驾驶辅助系统中,实时处理和分析车辆四周的环境信息是确保安全驾驶的核心。

  BEV能够辅助系统识别行人、障碍物以及其他车辆,提升驾驶决策的准确性。对于大型货车、客车等重型车辆,鸟瞰图提供了更加广阔的视角,有助于安全驾驶和复杂场景下的操作。

  随着自动驾驶技术的发展,车辆对视觉处理能力的要求会越来越高,随着更多传感器的集成和数据处理需求的提升,DSP的架构需要进一步优化,以支持更复杂的场景感知和决策系统,AI算法与DSP的结合将进一步提升智能驾驶系统的智能化水平,使车辆能够更准确地理解和适应周围环境。