自动驾驶中的计算机视觉技术——ICCV2015主题报告回顾

自动驾驶汽车过去只出现在科幻作品中,而现在似乎已经离我们近在咫尺,这得益于近年来计算机视觉、机器学习等技术的高速发展以及计算机硬件处理能力的飞速提升。在这些新技术中,计算机视觉技术的进步对自动驾驶领域起到了极其重要的作用。今天,我们以回顾ICCV2015主题报告的形式为大家简要介绍究竟有哪些计算机视觉技术应用到了自动驾驶领域。

2015年,在计算机视觉领域中的顶级会议ICCV中,组委会针对自动驾驶专题,邀请了来自戴姆勒、丰田、牛津大学、博世公司等世界顶级研究者做了主题报告。下面为大家推荐这次主题报告的网站:https://sites.google.com/site/cvadtutorial15/materials
(其中包括了演讲人的PPT,内容非常充实,有很多他们推荐的种子文章,感兴趣的同学可以参考)

下面简要介绍一下这次主题报告的框架和大致内容,主要分为8个部分:
1) 自动驾驶领域的简要介绍:
自动驾驶的需求,现在分为5个自动化程度等级的定义,简要发展史。随后提出了自动驾驶的基本问题,即:(1)车在哪?(2)车周围有什么?(3)下面会发生什么?(4)车该怎么做?有了这些基本问题,计算机视觉能帮助我们解决什么呢?比如:检测路牌,和周围的车辆展开互动,了解周围发生了什么等等。

2)双目视觉在自动驾驶中的应用:
由于双目视觉能够获得dense的三维信息,图像可以获得“语意”信息(理解图像哪部分是什么,比如:“公路”,“树丛”等等),而且双目视觉的准确性和鲁棒性优秀,所以被使用在自动驾驶领域。随后,主讲人介绍了双目视觉的原理,在自动驾驶领域中的发展历程。之后,详细介绍了所在的戴姆勒公司所用的一些技术,包括:(1)stixel对真实世界进行“语意”表达;(2)利用卡尔曼滤波进行汽车并线的方法;(3)基于深度学习的物体归类方法; (4)基于CNN的交通灯检测。最后,演讲人列举了一些目前的技术挑战。

3)多传感器融合在自动驾驶中的应用:
由于自动驾驶对可靠性的要求,而不同传感器的优势又各不相同,所以被用作不同功能。这些传感器包括但不限于:定位系统(GPS, 惯导系统等),3D激光雷达,雷达和相机。演讲者首先介绍了他们(丰田)整个环境感知系统的架构以及每个传感器可能的用途,随后着重介绍了基于视觉的跟踪和传统跟踪方法的异同,以及如何进行数据融合的方法。

4)基于“语意”的环境理解:
首先介绍了几组通过“语意”进行环境理解的数据集,然后按由低到高的顺序,从像素级语意分类,到基于区域的分类,最后到利用深度学习的“语意”分类进行逐步深入的介绍。

5)机器人为环境自动建图:
将建图过程分为两部分分别介绍:(1)相机相对姿态的确定;(2)全局相机姿态的优化。将第(1)部分又拆解为5步完成,即:特征点检测->特征点匹配->特征点跟踪->飞值检测和剔除->利用有效数据的最优化求解。第(2)部分则介绍了相机姿态基于图论的全局最优化方法,包括常见的闭环检测等。

6)自动驾驶中的定位问题:
首先阐述了定位在自动驾驶中的重要性。然后顺序介绍了基于标志物(如:车道,信号灯等)的定位,传感器融合进行定位,以及如何利用GPS进行粗初始化定位的方法。

7)相机与其他传感器的时空信息融合:
首先介绍了相机内参的标定工具,然后介绍了相机外参的校正、多传感器的时钟同步、多传感器间的空间校准以及利用特定传感器pair进行特定功能的解决方案。最后,演讲人介绍了其主题在汽车领域的应用。

8)NVIDIA深度学习平台

以上是对这次主题报告的粗略总结,水平有限,如有错误还望指正,谢谢~

时间: 2024-10-03 07:15:44

自动驾驶中的计算机视觉技术——ICCV2015主题报告回顾的相关文章

深度学习:人工智能在自动驾驶中的核心应用

从始于60年代的<星际迷航>系列,再到<钢铁侠>系列.<I, robot>以及黑客帝国等等,人工智能在多数公众面前的呈现多多少少都有些科幻成分.不过近些年,人工智能技术在现实生活中的飞速发展使得公众的关注点明显聚焦在了技术产业中. 去年,AlphaGo以4:1赢下李世石的世纪大战在让2016年成为人工智能元年的同时,也让公众对人工智能在现实场景中的应用有了更多的期待.事实上,上述场景早在50年代便已有了相关的实践.1959年,美国研究者Samuel便设计了一个下棋程序,

智能汽车进入“摩尔定律”时间,自动驾驶注意这些“技术坑”

2017年,随着人工智能概念的爆发,自动驾驶.智能汽车领域出现一大批新技术和新产品,而汽车作为一个革新的载体,也串联了很多本行业外各项技术,推动着汽车行业在整车.集成和生态上加速前进,同时,智能汽车也面临技术.法律法规等诸多方面的瓶颈. 12月21日,在中国智能网联汽车产业创新联盟月度巡回技术沙龙北京站上,新智元创始人兼CEO杨静女士与中国智能网联汽车产业创新联盟副理事长.清华大学汽车工程系教授李克强,清华大学汽车工程系主任杨殿阁,地平线创始人兼CEO余凯,东软集团副总裁兼移动互联网事业部总经理

【首发】地平线A+轮融资近亿美元,英特尔领投联手发力自动驾驶

人工智能初创企业地平线刚刚宣布了A+轮融资情况:总额近亿美元,英特尔投资领投,嘉实投资联合投资,其他参投方包括现任股东晨兴资本.高瓴资本.双湖投资和线性资本.泰合资本担任本轮融资的独家财务顾问.英特尔全球副总裁丹尼尔·麦克纳马拉尔 (Daniel McNamara)将加入地平线公司董事会. 本轮(A+)融资预期于2017年年底全部完成. 地平线创始人兼CEO余凯在于美国旧金山当地时间19日举办的英特尔投资 CEO 会议上正式宣布了这一消息. 此前曾多次在公开场合放言"对标英特尔"&qu

上汽增资控股后,中海庭首发声:备战自动驾驶,高精地图面临的机遇和挑战

雷锋网按:第 19 届亚太汽车工程年会 & 2017 中国汽车工程学会年会暨展览会(APAC 19 & 2017 SAECCE)于10月24-26日在上海举办,本次论坛以"未来汽车与交通变革"为主题,逾 3000 位国内外业界嘉宾共同探讨汽车产业车厂与零部件协同创新和技术发展路径. 在"从驾驶辅助到自动驾驶,高精度地图与定位的发展道路"分论坛上,中海庭董事长罗跃军作了名为"备战自动驾驶,高精度地图面临的机遇与挑战"的主题演讲.这也

【新智元人工智能创业家】驭势吴甘沙:如何突围自动驾驶汽车?

创始人的初心 2016 年 3 月 27 日,吴甘沙当选新智元 2016 人工智能创业家时,在新智元超智能时代论坛上发表了一番演讲,题目为:让出行成为享受.   "知识分子要让他去革命的话,一定要触及他的根本利益,以此推理,外企的高管要出来创业也得触及他的根本利益.去年7 月我搬到顺义,在中关村上班,于是开始了每天三个小时在上班路上的痛苦日子.所以,当有一天我的创业合作伙伴赵勇和我谈起自动驾驶时,我的内心一下子就原力觉醒了."   吴甘沙是有创业梦想的.早在2001 年,吴甘沙就差点投

演讲实录丨王涛 高精地图助力自动驾驶

高精地图助力自动驾驶 王涛  高德汽车自动驾驶产品研发部技术总监 王涛:大家上午好!非常感谢接受吴总的邀请,能够有机会跟大家做一个分享,今天我说的内容是<高精地图如何助力自动驾驶>,内容主要分为四部分:一是高精地图与自动驾驶的关系.现在大家都在讨论自动驾驶为什么需要高精地图:二是高精地图产品概览:三是高精地图如何炼成:四是基于高精地图的云服务.     这张图刚才院士和吴总都展示过了,我就不具体细说了,主要想说明的是一点,从分析里目前有两个研究路线,一种是类似于谷歌的变革路线,没有经历过零级一

专访 | 特立独行的Voyage,要让每辆自动驾驶出租车盈利

Oliver Cameron,他背后是公司测试场地的卫星图 雷锋网拜访自动驾驶公司Voyage的前一天,纽约时报报道了他们在硅谷圣何塞的老年人退休社区Villages Golf and Country Club开始试运营自动驾驶出租车服务. Voyage于今年初成立,脱胎自在线教育公司Udacity,希望能组建自己的自动驾驶出租车队.公司CEO Oliver Cameron和部分成员曾在Udacity开发自动驾驶课程,去年秋天在繁忙的硅谷完成了一次32英里左右的自动驾驶测试后,他们决定成立自己的

苹果自动驾驶遭遇挫折,转而开发园区穿梭大巴

据纽约时报报道,数年前,苹果招聘新人开发秘密的自动驾驶汽车项目时,高管会告诉他们,着手的产品会是公司的next big thing,会颠覆底特律和汽车行业.但如今,苹果的汽车项目已经沉寂下来.公司已经将苹果牌自动驾驶汽车放在一边,转而开发自动驾驶的的底层技术.公司高管Timonthy D. Cook在一次采访中称,苹果"专注于自动驾驶系统". 这种转变的一个标志是,苹果正在开发自动驾驶的穿梭大巴,能将公司员工从一个办公地点送到另一个.这种穿梭车从没被报道过,很可能是由汽车厂商制造的商业

构建IoT基础设施,国内最大高精度定位服务商如何玩转“自动驾驶朋友圈”?

自动驾驶初体验 10 月 12 日,云栖大会第 2 天,杭州仍是整天的降雨.在云栖小镇,雷锋网(公众号:雷锋网)·新智驾试乘了千寻和清华大学苏州汽车研究院的自动驾驶测试汽车. 车辆启动.坐在前排的驾驶员手自觉远离方向盘,并刻意使脚与离合.刹车保持一定距离,车辆在小镇的双向单车道上开始行驶,并最终保持在 20 km/h 的速度上. 我们乘坐的是一辆九龙的商务车,车辆共配置了 1 个 16 线的 Velodyne 激光雷达, 1 个毫米波雷达和 1 个 Mobileye 摄像头,这是自动驾驶汽车上常