这是一个名为MultiGen的项目API文档

MultiGen: Multi-modal Test Case Generation for Testing Perception Systems

项目研究背景

   一般来说，自动驾驶系统接收传感器数据，计算驾驶决策，并向车辆输出控制信号。为了消除传感器输入带来的不确定性，他们通常利用多传感器融合来融合传感器输入，从而对周围环境产生更可靠的理解。目前主流的基于多模块的自动驾驶系统架构如下图所示。从一组传感器(如摄像头、激光雷达等)获取输入，并将驾驶决策输出到被控车辆。它通常包括一个感知模块，这个模块可以解释传感器数据让计算机理解周围的环境；一个规划模块，规划车辆的即时与长期的轨迹；一个控制模块，产生具体的，可以被执行器执行的控制信号来驱动车辆。感知模块是自动驾驶系统的基础，其错误会传导至下游模块并可能导致巨大的安全隐患,例如自动驾驶中感知不到车辆，行人等。

   感知系统在多个领域扮演着至关重要的角色。从自动驾驶汽车到智能安防系统，这些复杂的系统依赖于处理和解析多模态数据（如图像、声音、雷达信号等）来做出准确判断。然而，确保这些系统在现实世界中的可靠性和准确性，是一个充满挑战的任务。现有的测试方法常常无法全面模拟现实世界的多样性和复杂性，这限制了感知系统在真实环境中的表现和可靠性。

   由此需要生成符合现实世界的多样性和复杂性的多模态测试用例来测试感知系统

研究意义与创新性

   在自动驾驶系统的运行环境中，激光雷达感知的点云以及相机拍摄的图片可能会受到各种环境因素的影响，包括恶劣天气(如雾、雨、雪等)。这些影响可能会对感知到的点云以及拍摄的图片或各种类型的噪声信息造成不同程度的衰减，从而导致自动驾驶系统在运行过程中出现错误行为。其次，现代自动驾驶系统的测试过程在很大程度上依赖于采集的数据集，而在真实道路测试中，点云通常由激光雷达采集，图片由相机拍摄。为了保证自动驾驶汽车在上述恶劣的天气条件下能够安全驾驶，则需要为自动驾驶系统中的感知模块提供大量现实世界的多样性和复杂性场景的数据集进行训练。

   众所周知，由于环境条件的多样性，采集不同环境因素下的点云与图片需要大量的资源消耗。此外，即便获取到了所需的数据资源，接下来对点云与图片进行人工标注是一项费力且耗时的任务，需要大量的人力来手工检查点云与图片的可视化结果。如果为了获取模态一致的点云与图片数据，要求会更高，人力成本也会同步增加，事实上，获取模态一致的点云与图片数据也符合未来的研究趋势。

   为了获取模态一致的点云与图片数据，业界学者已经提出了一些解决方案，Zhang等人提出了真实值采样的方式，获取物体数据仓库，并基于此进行仿射变换等操作，获取到丰富的多模态数据，但存在物体在被提取的瞬间便被固定下来，无法进行姿态的调整的问题，获取到的数据场景受限比较大；Gao提出了一种基于3D模型构建物体数据仓库的方式，这种方式可以灵活调整物体的姿态，由此获得更加广泛丰富的数据场景。以上的工作主要是对于场景中物体的仿射变换提出的解决方案，也有人提出依据环境因素变换，包括恶劣天气(如雾、雨、雪等)，通过对物理现象进行数学建模，模拟不同环境的条件下的数据场景。

   我们的工作是，提出了一种多模态测试用例生成框架，专门为测试感知系统设计。这个框架能够模拟并生成多种不同类型的数据和传感器输入，提供多种多模态数据生成方法，以全面评估感知系统在各种复杂环境下的表现。该生成框架涵盖了五种不同等仿射变换以及三种天气因素，能够充分模拟实现现实世界的多样性和复杂性的多模态测试用例。

挑战与技术路线

   我们选择通过在种子点云与种子3D模型上应用变换算子来生成真实的增强输入，并模拟不同的现实世界现象，如物体运动、不同的天气条件等。

   为此，我们研究了巴种不同的现实点云变换算子：插入(insert/add)、删除(delete)、旋转(rotation)、平移(transform)、放缩(scale)、雨天(rainy)、雾天(foggy)和雪天(snowy)。这些转换可以分为两类:仿射和天气。

   仿射：插入算法以KITTI数据集与经过处理的ShapeNetCore数据集作为数据库，经过位姿生成、碰撞检测、多传感器模拟、物体插入与遮挡处理等步骤后生成真实点云与(相对应的)图片数据。进而实现动态调整插入物体的位姿：添加、删除、旋转、平移、放缩

   天气：通过对物理现象进行计算建模，合理模拟雨天、雾天、雪天等各种天气下的环境数据。

id	算子名称	图像	点云
1	插入(insert/add)	✓	✓
2	删除(delete)	✓	✓
3	旋转(rotation)	✓	✓
4	平移(transform)	✓	✓
5	放缩(scale)	✓	✓
6	雨天(rainy)	✓	✓
7	雾天(foggy)	✓	✓
8	雪天(snowy)	✓	✓

部分界面功能展示

车辆插入前

车辆插入后

任务管理界面

未完待续……