本月初,全球传感器与智能化发展高峰论坛在北京亦庄召开,会议探讨了当前智能传感器发展现状及技术瓶颈,以便实现传感器技术未来发展的弯道超车。在无人驾驶分论坛上与会专家探讨了激光雷达的重要作用,笔者也分享了自己的一些体会并介绍了2016年未来挑战赛中的针对性的内容设置和参赛无人车队技术进展情况等。得出总结是,激光雷达在现阶段智能车辆实现中是不可或缺的传感器,它具备精确的测距、空间定位与描述、可靠的障碍物检测等独特能力。通过高分辨率激光雷达,有助于实现复杂交通环境下自主驾驶,特别是针对交通拥堵、狭窄道路、小区和停车场等特殊场景。特别地,从2016年未来挑战赛中的一些无人驾驶“事故”来看,国内研究团队在激光雷达方面的应用研究还有待于加强。笔者有感而发,针对激光雷达应用做了个粗线总结,希望有助于关心无人驾驶事业的同行。本文主要包括以下内容,首先介绍了激光雷达传感器的关键作用,其次是激光雷达传感器在环境感知中的应用挑战,再次是介绍了激光雷达集成化与智能化发展趋势,最后介绍了激光雷达的标定和测试等技术。
1. 激光雷达在无人驾驶中的关键作用
无人驾驶技术“几乎已被解决”是媒体夸大宣传和业外人士的一种误解。能适应各种道路环境和天气情况的无人驾驶汽车仍然是有待研发攻关的终极目标。一些所谓的“自动驾驶汽车”引发了系列事故说明仅靠单类传感器和单一技术难以实现安全的自主驾驶。提醒我们要在最基础的感知方案上不能减配关键传感器,而且还需要多类传感器冗余配置和信息融合。
2016年中国智能车未来挑战赛特意设计了相应的环境感知考核场景,图1所示是施工道路通行考核任务,沿图中黄线将一个车道封闭并设置施工场景,路段末端设置通行社会车辆,参赛无人车辆在此施工路段欲借道行驶时,须检测感知前方道路情况,如有通行车辆需先让行。类似复杂场景,需要借助激光雷达传感器进行环境感知描述,再进行规划。比赛结果表明,没有安装多线激光雷达的无人驾驶车辆均表现不好。
图1. 施工路段通行场景
激光雷达描绘周围环境几个主要参数,包括线数、点密度、水平垂直视角、检测距离、扫描频率、精度等。除了位置和距离信息,激光雷达还提供返回所扫描物体的密度信息,后续算法据此可以判断扫描物体的反射率再进行下步处理。通过检测目标物体的空间方位和距离,通过点云来描述3D环境模型,提供目标的激光反射强度信息,提供被检测目标的详细形状描述,不仅在光照条件好的环境下表现优秀,而且在黑夜和雨天等极端情况下也有较好表现。总的来说,激光雷达传感器在精度、分辨率、灵敏度、动态范围、传感器视角、主动探测、低误报率、温度适应性、黑暗和不良天气适应性、信号处理能力等指标方面表现优秀。
2. 激光雷达在复杂交通环境下的适用性
2.1 激光雷达在环境感知中的重要作用
二维和三维激光雷达在无人驾驶中均有广泛应用。与三维激光测距雷达相比,二维激光雷达只在平面上扫描,结构简单、测距速度快、系统稳定可靠。但二维激光雷达无法完成复杂路面地形环境,重建行驶环境时容易出现数据失真和虚报等现象。三维激光雷达则可以获得环境的深度信息,准确发现障碍物,构建可行驶区域,在丰富的点云数据上可获得包括车道、路沿等道路要素,还可获得非结构化道路的障碍物和可行驶区域,行驶环境中行人和车辆,交通信号灯和交通标志等其他丰富信息。
1)激光雷达适用于道路环境检测
向地面扫描的线激光雷达通过所获得的信号强度处理和识别车道线信息。此外,通过三维激光雷达数据获得路沿等信息,映射到2D网格与相机图像信息融合处理,可以获得路面的车道边界。将激光雷达与相机视觉检测的空间/时间数据融合,进行车道估计与跟踪,结合从地图数据生成的车道曲率约束和可参考的车道等信息,则可以获得高可信的车道估计。
图2. 基于激光雷达的结构化道路检测
在接收到激光雷达输出的原始点云数据之后,通过坐标转换形成点云的栅格化表述,并从中区分地面点的集合以及地面以上障碍点的集合,完成地面和障碍物分离,形成地面估计与分割。在非结构化的越野环境中行驶,还需考虑包括地面起伏、凸起障碍、负障碍物、水体等多种环境要素,完成可行驶区域检测。
图3. 基于激光雷达的可行驶区域检测
2)激光雷达可用于行驶环境中的目标检测与跟踪
通过对行驶环境中车辆周围的各类目标进行有效检测、跟踪和预测,才能实现跟车、换道和交叉口通行等复杂场景下的安全自主驾驶。由于行驶环境的复杂性,特别是道路中交通拥挤等情况下,车辆间容易互相遮挡以及行人目标较多且行走较难预测等,实现可靠的各类目标检测与跟踪存在较大挑战。
在接收到原始点云数据并进行点云栅格化描述、完成地面和障碍物分离以及地面估计与分割的基础上,采用目标聚类方法,通过栅格网叠加以及表面特征匹配,结合目标尺度比较,可确认跟踪列表并进行目标跟踪。其中,采用几何模型和运动模型假设结合的方法进行目标检测跟踪,可以有效地处理目标几何特征不明显的情况下多目标检测与跟踪,结合目标位置、速度以及速度方向的最优估计,容易获得周边车辆和行人的可靠检测。
图4. 基于激光雷达的行人检测(iSurestar RFan16雷达数据)
3)激光雷达用于地图构建和定位
在自主驾驶过程中需要一个厘米级的高精度地图,结合环境模型和传感器场景和交通状况感知,最后进行驾驶决策。这其中,激光雷达起到了地图采集、环境感知和辅助定位等功能。
通过采用激光雷达多次行驶获取道路的三维点云数据,进行人工标注,过滤一些点云图中的错误信息,对多次收集的点云数据进行对齐拼接最终形成高清地图。所建立路面模型包含较全的交通标志和交通信号灯,车道线位置、数量和宽度等,道路坡度和斜率等,还包括车道限高、下水道口、障碍物以及其他道路细节。既提供当前道路的静态环境模型,也可以通过预先存储的点云和图像特征数据来提供高精度定位。
通过局部点云匹配和全局点云匹配的位置估计方式,获得给定的当前位置情况下观测到点云信息的概率分布,结合对当前位置预测的概率分布,就可以提高无人车定位的准确度。在点云匹配过程中,采用事先获得的3D地图和获得的局部3D点云,通过顶视图的正交投影,转换为一个栅格化的2D反射率和高度网格图,进行两者之间的地图特征匹配计算,可获得高置信率的位置估计。
图5. HERE用于导航定位的高精度地图
2.2 面向无人驾驶应用的激光雷达适用挑战
1)影响激光雷达精度的外部因素
要想通过激光雷达精确获得环境描述并不容易,影响其感知精度的外部因素包括天气,车辆自身的运动状态,随机扰动和传感器安装位置等。其中,雨雪天气容易对激光雷达产生影响,同时周边物体的反射率也影响其正常工作。车辆速度也对所获得的激光点云数据质量有一定影响,特别是高速行驶状态下对激光雷达信息处理实时性要求较高。此外,由于车辆转弯引起侧倾等运动轨迹的变化,车辆轮胎的滑移及地面颠簸抖动引起的一定随机扰动等,也对激光雷达传感器形成的点云数据精度上有一定的影响。激光雷达的安装位置及其俯仰角等,使之可能受到不同的环境干扰。
2)面向极端驾驶环境下的适用性
由于激光雷达主要依靠激光的漫反射来实现的测距,决定了其在环境感知方面也不是万能的。雾霾天、大雨、大雪等极端天气对激光雷达的检测范围、识别时间等都有较大影响,虽然少量雨或雪可以通过算法的优化来进行信息过滤处理。在雨雪和雾天等情况下,空气中悬浮物会对激光发射和激光的反射检测等环节产生影响,从而影响其检测精度。雨或雾分布密度决定激光与之相撞概率,如图6所示,随着实验雨量增大,其最远探测距离线性下降。
图6 下雨量对LiDAR测量的影响
激光传感器在夜间表现良好,可在光线较弱情况下的自主行驶中发挥重要作用。福特搭载4个Velodyne32线激光雷达的智能车在亚利桑那州沙漠测试区开展过测试,模拟自动驾驶汽车在夜间车灯突然失灵的极限状况下自动驾驶的安全情况。而冰雪天气,则是激光雷达感知的挑战,道路因结冰或积雪而导致反射特性发生变化,导致激光雷达的检测效果受到影响,从而影响到三维地图的构建;此外,由于积雪覆盖也引起了道路环境的形状和边界发生变化。需要从算法层面对良好天气下构造的精准地图加以利用,在冰雪天气结合已有的地图完成顺利的感知与规划也很重要。
图7. 福特开展了夜间和下雪情况下的自动驾驶测试
3. 面向无人驾驶的激光雷达产品集成化与智能化挑战
现有的无人驾驶传感器配置方案中一般都包括多个2D和3D的激光雷达,这些激光雷达大部分都不是专门针对车载应用进行开发,体积较大且价格昂贵。未来量产应用的车载传感器则要求小型化、集成化和智能化,便于安装、便于标定和使用、提供现有车载总线集成等功能,提高了了应用适用性。总的来说,针对无人驾驶的应用需求,现有激光雷达在产品设计和供应链、小型化和集成化、智能化与算法服务等方面还有待于加强。
3.1 现有激光雷达面临产品设计和供应链的挑战
国外激光雷达传感器厂商主要有Velodyne、Ibeo和Quanergy等。与Velodyne进行竞争的初创公司有德国Ibeo,美国Quanergy,以色列Innoviz,美国Aerostar,加拿大LeddarTech,加拿大Phantom Intelligence, 美国TriLumina等。
图8. Velodyne、Ibeo、Quanergy的激光雷达
国内也出现了车载激光雷达产品研究热潮。北科天绘公司在今年5月就推出首款16线智能车用激光雷达(R-Fans16),有效探测距离大于50m(ρ≥20%),扫描视场360°,测距误差优于5cm,并将在年底推出32线升级版本。随后,禾赛科技、速腾聚创等国内初创企业也推出类似激光雷达产品与样机。
图9. 北科天绘公司的16线R-Fans激光雷达及其点云信息
现有激光雷达在产品设计上面临车规应用严格要求,在供应链上面临规模量产的挑战。需要通过改进设计和核心器件的供应,使得传感器满足规格且价格得到控制。在产品设计方面,要求激光雷达传感器尺寸越小并且容易安装在无人驾驶车上,需要将机械旋转部件做到最小甚至不用旋转器件。例如Velodyne和福特一起发布的32线半固态激光雷达Ultra Puck Auto,将旋转部件做到内部隐藏。Quanergy的全固态S3产品,使用相位矩阵技术,不存在旋转部件。
在传感器性能指标方面,除了要求视场角覆盖、角分辨率、检测精度和距离等指标之外,还要求信息采集处理的实时性。此外,要改变现有激光雷达生产中的紧密光学器件的校准等繁琐环节,减少标定过程的人工介入,从而降低人工和器件的成本。
3.2 激光雷达传感器的集成化和智能化挑战
1)面向无人驾驶的激光雷达配置与安装
如图10所示,参加2007年DARPA Urban Challenge比赛的Stanford 大学“Junior”无人车辆配备2个侧向的SICK LMS 291-S14激光雷达和1个前向的RIEGL LMS-Q120激光雷达提供3D道路结构和车道标线检测,并进行车辆高精度定位。1个车顶64线Velodyne HDL-64E激光雷达用于障碍物和移动车辆检测,形成水平方向360度和垂直方向30度视域的扫描数据,由车尾的2个SICK LDLRS激光雷达和前保险杠2个 IBEO ALASCA XT激光雷达进行视野补充。5个安装在前格栅的BOSCH长距离雷达(LRR2)提供周围移动车辆的检测信息。Junior无人驾驶方案中,充分体现了激光雷达传感器的重要性。
图10. DARPA Urban Challenge 中的 Junior 无人驾驶车辆及其传感器配置
同样,在2016年参加中国智能车未来挑战赛的无人车,也大多安装了高精度的多线激光雷达。车顶64或32线的Velodyne激光雷达,前向不同角度的摄像头分别负责车道线、行人、红绿灯。前脸保险杠处增加4线或8线激光雷达以及毫米波雷达,车尾配置毫米波雷达用于变道辅助。百度在本月的乌镇互联网大会上展示最新的无人驾驶车辆,在车辆顶部有64 线激光雷达、3个环绕车顶的16线激光雷达、位于车顶前方的两个视觉识别摄像头、以及车前方的毫米波雷达组成,辅以 GPS 高精度地图在车载计算中心的控制下,实现无需人类操作决策的机器自动驾驶。
图11. 参加2016年挑战赛的无人车和百度无人车均搭载多个激光雷达
激光雷达的嵌入式安装方式容易导致的传感器检测范围受到遮挡,需要采用多点布置的方式进行检测视角覆盖。车顶安装的64线激光雷达可以形成60米左右360度视角覆盖,车辆正前方、正后方、左前方和右前方安装的4线、8线激光雷达。安装在险杠附近的前向方低线束4~8线的长距激光雷达,用于检测远距的前方车辆和障碍物等信息。安装在车辆左右两侧(车顶侧或车尾侧)的激光雷达,可以对侧向车辆、障碍物、车道和路沿等路面进行检测,形成视角的覆盖与冗余。在现有技术基础上,如能将激光雷达与车载其他传感器进一步集成,则可简化方案,如图12所示。
图12. 车载传感器集成与智能化
2)面向无人驾驶的激光雷达智能化挑战
激光雷达传感器如果能够结合传感器特点进行原始数据的预处理,提供云数据处理结果,提供从硬件到处理软件的一体化方案,有效降低用户门槛,提高应用广度。Velodyne输出的原始数据中,除了位置和距离信息,还包括目标反射密度信息。如果厂家能提供进一步的算法,判断出目标的反射率信息,用于辅助目标的识别,例如确定众多检测目标中的交通标志牌。再结合相机有针对性地识别标志牌内容,则可以减少算法成本。Ibeo的软件方案则包括算法端设计,可直接输出周围车辆、行人、障碍物、路面等检测到的环境信息。
4. 激光雷达传感器的标定与测试
4.1 激光雷达参数与繁琐的标定过程
大部分激光雷达中,通过电控扫描方式控制线阵中每个激光二极管(Laser Diode - LD)发射脉冲激光,经发射光路整形,激光脉冲到达目标表面并返回,经接收光路接收,聚焦到对应光电传感器(APD)并转换为电信号,电信号处理,测距、测灰度;激光探测模块中32元通过电控扫描在竖直方向次第测量,同时围绕竖直轴做360°旋转扫描;所采集原始数据计算生成激光三维点云,数据上传并实现对激光点云数据同步处理。其中,多个步骤涉及精密光学器件的调校,光学收发透镜需要精确设计,这些环节比较费时费力。
图13. Velodyne的64线激光雷达内部结构
1)车载激光雷达的标定
激光雷达与车体为刚性连接,两者间的相对姿态和位移固定不变,为了建立各个激光雷达之间的相对坐标关系,需要对激光雷达的安装进行标定,并使激光雷达数据从激光雷达坐标统一转换至车体坐标上。通过建立车辆质心坐标系、雷达基准坐标系以及车载激光雷达坐标系,将激光雷达的数据转换到基准坐标系中,结合雷达的俯仰角和侧倾角,再将其统一转换到车辆坐标系下。如果有多个车载激光雷达,为了能够得到统一形式的环境信息,需要确立统一的车辆坐标系,并把所有激光雷达的数据转换到该坐标系下。
2)多线激光雷达的外部参数
理想状态下,激光雷达多线束激光从坐标系原点射出,且每束激光的起始位置都为坐标系原点。但实际上,每个激光传感器安装位置不同,光束的水平方位角也有差异,光束并不在同一个垂直平面内。因此,对应每个激光器都有一组校准标定参数,通过标定方法对参数进行标定,即每个激光束的位置和方向的参数估计[3]。以Velodyne HDL - 64E激光雷达为例,出厂时对每束激光校准参数都已进行标定,但在使用时一般还需对该校准参数进行重新标定。获取64束激光的标定参数后,可将每条激光束返回的距离值 和当前激光雷达的旋转角度 转化为激光雷达坐标系中的笛卡尔坐标 。
图14. Velodyne HDL - 64E 激光雷达坐标系定义
为了将激光雷达返回的距离和角度信息转换为激光雷达坐标系中的笛卡尔坐标,需要对每一条激光束采用5个参数进行建模。然后通过5个参数将每条激光返回的距离值转换为3D点坐标[11],包括距离校正因子 ,垂直偏移量 ,水平偏移量 ,垂直校正角 和旋转校正角 。
3)多线激光雷达的标定
激光雷达外部参数包括激光雷达的俯仰角与侧倾角等,通常可采用等腰直角三角标定板、正方形标定板、标定箱等工具结合标定程序完成外部参数确定。但是,这类外部参数标定方法还依赖于标定板等工具,最好能够实现自动标定方法,例如已有研究中的交互信息最大化外部自动标定法;激光摄像头融合的边缘对齐联合自动标定法和测距与图像融合的基于线段外部参数标定法等[9]。如图7所示的测距与图像融合的基于线段外部参数标定法,无需特殊的人工标定目标,通过自然线性特征获取来确定精确线段变换。通过一组点云形成的3D线段以及一组从图像获得的2D线段之间的对应关系,以及两者相对平移和旋转的联合估计的优化解,来获得外部标定参数。
图15. 测距与图像融合的基于线段外部参数标定法
4)摄像机和激光雷达联合标定
通过提取标定物在单线激光雷达和图像上的对应特征点来进行摄像机外部参数的标定,从而完成单线激光雷达坐标、摄像机坐标、图像像素坐标等多个传感器坐标的统一,实现激光雷达与摄像机的空间对准。
激光雷达、摄像机与无人驾驶汽车为刚性连接,因此在同一空间内,每个激光雷达的扫描数据点都在图像空间中存在唯一对应点。通过建立合理的激光雷达坐标系与摄像机坐标系,利用激光雷达扫描点与摄像机图像的空间约束关系,即可求解两坐标系的空间变换关系,从而完成激光雷达与摄像机的空间对准,实现激光雷达数据与可见光图像的关联。在此,激光雷达与摄像机的空间对准问题就转变为在给定雷达图像对应点的情况下的函数拟合问题。
利用标定箱,通过对扫描形状的判断,可手工选取出其扫描到标定箱边界的激光点并提取出该点坐标。标定箱的棱角在摄像机中成像清晰,容易获取。通过多次改变标定箱的远近和方位,使其位置尽可能地均匀分布在图像分辨率范围内的各个位置,而通过采集多帧同步后的图像和激光雷达扫描数据,即可获得多组图像雷达对应点对。
同样,现有的研究也集中在解决参数的自动标定问题。例如,基于边缘对齐的外部参数联合自动校准和融合的激光雷达与相机自动标定技术,以及其他相机与激光雷达的在线标定技术,还有助于克服传感器漂移和扰动校正等。
图16. 多线激光雷达的标定示例
4.2 激光雷达测试技术:突破应用场景限制
1)车载激光雷达的测试
在车载激光雷达的评测中,需要针对测试指标构建车用激光雷达测试场景,建立标定场、控制点和检测点,通过设置标靶,结合已有的高精度、高置信度测试仪器进行激光雷达标定,通过控制点进行测评指标精度分析,结合检测点进行指标精度对比分析,最后形成指标参数精度的置信描述。
车载激光雷达的测试包括:
(1)车用激光雷达设备性能测试,包括振动测试、温度测试、环境测试、计量精度测试、回波强度测试、数据一致性及完整性测试等。
(2)车用激光雷达常用指标测试,包括设备的测量帧率、点频率稳定性;水平角视场大小,水平角分辨率;垂直角视场大小,垂直角分辨率;距离分辨率、测距误差和不同反射率的固定大小目标的探测距离等。测试设备系统启动时间,目标的检出时间等。除了上述常用指标之外,还将就激光雷达工作的自车速度范围,检测对象目标大小,目标反射率、目标检出率等指标进行测试。此外,还将一级指标细化为二级评测指标,例如检测距离的二级指标包括目标最大测距,目标有效检测距离,目标分类距离,目标最佳分类距离等。
图17. 激光雷达的重要评测参数
(3)车用激光雷达检测信息丰度测试,包括车用激光雷达检测信息丰度测试,涵盖目标检测完整度和精确度测试。目标列表包括可行驶区域内的结构化和非结构化路面、路沿,周边其他车辆和非机动车辆,行人,动态和静态障碍物目标等。
2)车载激光雷达的测试方法
针对测试指标构建车用激光雷达测试场景,建立标定场、控制点和检测点,通过设置标靶,结合已有的高精度、高置信度测试仪器进行激光雷达标定,通过控制点进行测评指标精度分析,结合检测点进行指标精度对比分析,最后形成指标参数精度的置信描述。
在自主驾驶模拟器中建立激光雷达传感器接口,将激光雷达采集的测试环境数据或者仿真软件生成的测试数据,输入自主驾驶仿真器中,在仿真软件中还原真实或者仿真的测试场景,从而开展激光雷达传感器的平行测试。结合仿真模拟测试与实际环境测试虚实联动的测评方法,对激光雷达进行完整评测。
3)智能车中心开展的车载激光雷达测试工作
中国智能车综合技术研发与测试中心汇聚了多家智能车研发单位,致力于开展智能车辆设计、标准制定和功能测试等工作。此外,结合智能车中心的基础设施,结合仿真环境、在环测试技术和实际模拟环境,针对激光雷达、毫米波雷达、相机视觉感知、惯性导航等各类车载传感器开展平行测试工作,提供传感器的适用边界确定和驱动功能集成,通过与各类传感器产商保持密切合作,可快速加快传感器成熟应用进程,有助于加速智能车辆开发。
5. 总结
激光雷达是实现无人驾驶的重要传感器,由于其功能特性可以在复杂交通环境的感知中起到关键作用,越来越受高度重视,国内外纷纷投入研发。通过与其他车载传感器实现信息融合,可适用于复杂交通环境感知。此外,激光雷达还广泛用于3维地图建立和辅助定位中。本文通过现有激光雷达的技术描述,介绍它在环境感知中的关键作用,分析了激光雷达在无人驾驶应用中的适用性和需要突破之处,介绍了激光雷达标定和测试等技术,后续将陆续综述毫米波雷达、相机视觉和惯性导航等传感器在无人驾驶中的应用,文章可以作为相关技术应用有益参考。
文章转自新智元公众号,原文链接