设计师如何评估和校准自主机器的传感器融合系统？
正如开尔文勋爵所说，记住或被提醒“如果你无法衡量它，你就无法改进它”，总是有益的。这对当今最新的设计方法，如 传感器 融合，尤为适用。对于安全关键且高度监管的情况，如先进驾驶辅助系统（ADAS）和自动驾驶（AD），关键绩效指标（KPI）已成为优化 传感器 能力和满足监管标准的重要基准。设计方法涉及仿真、再仿真和合成数据，以为这些系统提供准确的决策。
KPI有助于确定针对特定ADAS功能的合适传感器选择，确保每个传感器符合系统设计标准。确定要衡量的关键绩效指标是设计改进的第一步。对于传感器融合，除了传感器本身的常规KPI如分辨率、距离和可靠性外，系统相关的KPI还包括精度、召回、实时处理等。事实上，其他较低级别的性能指标——如功能和功能KPI评估的是具体子系统和单个功能。相比之下，系统KPI衡量的是整个ADAS或AD系统在实现设计目标方面的表现。
许多机器学习环境，包括传感器融合评估，都是从地面真实数据（准确且经过验证的数据，作为比较基准）或模拟地面真实数据开始。
一种常用的传感器KPI计算方法是记录数千小时的路考数据，分析后绘制物体周围的边界框，估算距离和速度，从而建立传感器性能测量的实质数据。
图1。通过图像的打包来确定真实情况。（图片来源：Autoware Universe) 有一家公司开发了一个平台，通过融合激光雷达、摄像头及其他传感器数据，自动计算合成地面真实数据，并自动计算感知系统的KPI。检测真阳性和假阳性以及真阴性和假阴性，关键绩效指标汇总成一份全面的报告。故障会在时间线显示中显示，方便通过额外的设计工具进行详细检查。
其他用于评估传感器 融合系统 的工具包括CARLA（汽车学习行动），一款为自动驾驶研发设计的开源模拟器，以及Gazebo。
CARLA 由巴塞罗那自治大学计算机视觉中心（CVC）开发，为用户提供逼真的城市环境、传感器仿真能力和易于集成的体验。
一组研究人员开发了一个基准测试脚本，使用户能够轻松分析CARLA在其环境中的性能。在配置以运行不同/具体场景后，脚本会根据要求标准报告帧率的平均和标准差。
另一种方法是Gazebo，这是由开源机器人基金会为机器人开发者和 设计师 提供的开源软件库集合。Gazebo-classic，特别是Gazebo 9和Gazebo 11，发布名为/gazebo/performance_metrics/的消息，允许 设计师 检查系统中每个传感器的性能。
为了彻底验证，设计过程中必须考虑极端情况或在罕见且难以预测的情景下发生的情况，如突然变道或极端天气。一家公司收集并整合了边缘案例，供 设计师 测试其自动驾驶系统。这些数据包括致命事故报告、非致命事故报告，以及数百万个汽车与其他道路使用者之间紧密、复杂的真实互动实例。
为了解决CARLA中的传感器故障，一所大学的研究人员开发了CARLA机器人作系统（ROS）桥接器（一种中间件接口），以促进CARLA仿真环境的集成。CARLA ROS 桥接核心功能包括一个模块化且可扩展的传感器故障注入框架，核心是一个名为 FaultInjector 的基类。类图如图2所示。