【智驾深谈】Mobileye,用单目视觉点亮自动驾驶

早期做自动驾驶的小伙伴几乎每个人都自己动手写过车道线识别程序,OpenCV写写,霍夫变换写写,模板匹配写写,再复杂一点弄个RANSAC,或者滤波投票。然而一遇到光线变化就挂了,遇到天气变化也会挂,车速高了也挂,总之各种挂。体验了各种挫败感之后,大部分人都转而投向激光和差分的方案,丢下一句“现在视觉还尚未成熟”之类的话。

我之前也一直这么认为,视觉太难做,直到我有一天看到了Mobileye的结果,漂亮得一塌糊涂,比如上图里这种,从没有车道线的地方都能推理出车道线(传说中的HPP,Holistic Path Planning),只能说彻底给跪了。

几周前创新港做过一期专门的微讲座,请了Mobileye中国区总经理苏淑萍女士介绍工作,期间她分享了这样一些数字,截至2015年底,全球超过1000万装机量,覆盖超过20家车企的273款车型。集成度极高的解决方案,快速的市场推进速度,无一不让所有人觉得眼前一亮,而这些成功的背后,则是其多年积累的强大算法支撑。

两位老伙计

1999年,早在Google自动驾驶火起来的十年之前,以色列Hebrew大学教授Amnon Shashua(现任CTO)和连续创业成功者Ziv Aviram(现任CEO)就看到了视觉技术用于汽车安全的可能性,联合创办了Mobileye,致力于用单目视觉提供包括行人检测、车道保持和自适应巡航等辅助驾驶技术。

2014年8月IPO,Mobileye被称为以色列有史以来最成功的IPO,首日涨幅接近50%。时至今日谈起这家公司,相信大家都不陌生了,毕竟市值过百亿的算法公司不多,而连续十几年看准一件事情坚持做下来的实属凤毛麟角。

成功总是青睐有准备的人,从商业上来讲,Aviram丰富的经验赢得了强有力的资金支持,一开始不考虑机构的钱,固执的认为机构都是急于变现的人,他的模式让我想起网易的丁磊。因此,从开始直到2007年,Mobileye的资金支持大部分来自朋友和天使投资人,这群人充分的信任给了Mobileye充分的发展空间,使其早期基于视觉的方案在业界不看好的情况下顽强生存了下来,并证明了自己的价值所在(当年BMW,GM和Volvo成为首批配装Mobileye的车企)。在此之后,Aviram开始引进机构投资,此时的机构已经认识到了Mobileye的潜力,支持力度很大,使得哪怕在2008-2010年经济衰退期,Mobileye的账面上都余粮很多,从技术上可以比较激进发展。

从技术上来讲,早在2000年左右,比较了毫米波、激光雷达和摄像头传感器之后,考虑到可靠性、易用性和性价比,Shashua就坚定地走上了单目视觉这条路。一直以来,Shashua致力将Mobileye打造成当今ADAS的核心部件。远在大多数车企意识到ADAS重要性之前,他们已经设计出一套完整的、可提供多种安全功能的集成视觉系统,以至于后来2010年率先推出行人碰撞预警系统,2013年推出自动紧急刹车系统,2013年推出纯视觉ACC系统等,都充分体现了Shashua对此有非常超前的认识。

在一次接受哈佛商学院的采访中,Shashua还提到Mobileye发展过程中最重要的两个战略决定:一是将各类安全功能全部集成到一款产品中,而不是拆分销售,很大程度上提高了产品的竞争力和可维护性;二是决定自主研发片上系统(SoC),这为后来量产化时降低成本、掌握更多设计自主权打下了基础。

自动驾驶线路图

在辅助安全产品上的成功,让两位创始人开始展望未来,而辅助功能的进一步升级就是自动驾驶。随着城市交通拥堵的日益严重,以及不靠谱司机的日益增多,NHSTA开始着手推动自动驾驶功能上车,具体的是在其评分标准中,达到4-5星评级的产品,应具备一定程度的自动驾驶能力,例如ACC和AEB。

对此,在过去的一年中,Mobileye比较侧重地向自动驾驶方向做了一些调整,在2016年的CES上,Shashua给了一个很偏技术的keynote演讲,阐述了在自动驾驶方面的路线图:以当前的感知产品为基础,为自动驾驶系统提供可行区域和障碍物信息;通过已经配装在车上的Mobileye进行地图的收集,以及开发驾驶决策控制算法。

长久以来,自动驾驶技术被划分为两个阵营,一个是源自Darpa,由一群机器人学家构成的“特定区域全自动驾驶派”,以Google为首,试图通过大数据和人工智能技术来革新驾驶体验。另一个则是源自车企,由一群汽车电子工程师构成的“全区域部分自动驾驶派”,试图将该技术以新功能的形式添加到汽车进而盈利。Mobileye偏向后者,希望能够以一种递进的方式,逐步推进自动驾驶技术,而Shashua的计算机科学背景让他们同时兼顾了人工智能技术,并将其大量运用于产品当中。

总体来讲,Mobileye在自动驾驶的布局分为三个部分,也可以认为是三个阶段:感知、高精地图和驾驶决策。

当前比较成熟的,是它的感知技术,已经大量运用在已有产品中,主要提供一个环境模型(Environmental Model),包括运动和静止的物体、车道线、可行驶区域和交通标志等。

多年的积累,让Mobileye在环境模型方面能够提供的内容远超竞争对手,在别人还在尝试提高单一车道线的检测精度时,Mobileye已经可以提供道路的语义级特征描述,例如当前行驶车道的左右车道线、左右车道的左右线以及道路分叉等等,均通过深度神经网络识别。

谈到深度学习,就需要提一下现在很火的End-to-End方法。智驾深谈第一期的时候,我们曾经介绍了独行侠GeoHot和他的Comma.ai,Shashua对于端到端方法也有自己的看法,简单来说是不看好的。他认为端到端不考虑专家经验,不考虑领域知识,不考虑人工监督,对极端情况(Corner Cases)的应变能力比较差。相比来讲,Mobileye将感知任务划分成多个模块,每个对应一个人工监督的神经网络,所得出的效果已经可以产品化。

第二个方面,是高精度地图技术(称作REM,Road Experience Management),该技术是自动驾驶不可或缺的支撑,区别是是否使用复杂的3D激光雷达来采集和制作地图,Shashua认为并不需要,而是通过图像中丰富的纹理和色彩特征来生成地图。Mobileye采取的策略是三维上稀疏,地面一维稠密的结构,三维元素不会包括原始图像数据,而是经过识别后的语义信息。

地面一维的信息则包括的比较多,建立了一个道路模型,包括车道线的精确位置、连接关系等。

值得一提的是,当前高精度地图供应商,在生产和维护地图方面成本很高,而Mobileye则采取群体智能的方式来解决这个问题,通过大量装配在量产车上的Mobileye现有产品来分布式收集和更新数据。

第三个方面,也是自动驾驶技术公认的难点,即决策与规划技术。目前Mobileye也在利用深度学习进行初步的尝试,跟DeepMind采用的DQN网络不同,他们还考虑了驾驶过程中的时序性。

结语

总体上来看,Mobileye依托单目视觉技术,正在逐步铺平通向全自动驾驶的道路,在此过程中不断收集驾驶数据,优化驾驶模型,更新驾驶产品。今天的Mobileye ADAS系统,在未来会逐渐完成高速自动、环路自动和城区自动等功能,最终达到A点到B点的全自动驾驶,让我们拭目以待。

文章转自新智元公众号,原文链接

时间: 2024-08-31 16:18:05

【智驾深谈】Mobileye,用单目视觉点亮自动驾驶的相关文章

【智驾深谈】深度学习驱动的自动驾驶新主流框架盘点(附3篇论文)

大背景 基于深度学习架构的人工智能如今已被广泛应用于计算机视觉.自然语言处理.传感器融合.目标识别.自动驾驶等汽车行业的各个领域,从自动驾驶初创企业.互联网公司到各大OEM厂商,都正在积极探索通过利用GPU构建神经网络实现最终的自动驾驶.   高阶ADAS系统的开发以至自动驾驶系统的开发都有赖于一套能够完整支持开发.模拟测试.原型制作和量产的开放式解决方案.本文将介绍基于深度学习架构的自动驾驶平台,这一架构将成为未来实现自动驾驶的集成平台中的重要一环.   深度学习是什么   深度学习是目前人工

【智驾深谈】特斯拉发布新一代 Autopilot 勇闯 L5,续写冰与火之歌

12月31日,2016年的最后一天,特斯拉对外宣布,开始在1000辆汽车上推送软件更新,如果一切顺利的话,下周更多的汽车将会接收到升级推送.本次更新包括了Autopilot 的交通感知巡航控制功能.前方碰撞预警和自动转向(Autosteer),其中,Autosteer 是 Autopilot 的旗舰功能,但是目前只能在"低速"下启动.特斯拉对此次升级非常慎重,软件团队在公司的内部视觉团队(特斯拉视觉).机器学习技术和数据收集车队中加入安全特性后才会展开升级推送. 早在今年10月Auto

【智驾深谈】一张图看清自动驾驶产业

自动驾驶三层次 通常来讲,自动驾驶技术可以划分为三个层次,感知->认知->行动,然后不断循环.参考上面一张网图,其中行动层包括转向.油门和制动三大控制器(以及执行机构),感知部分包括两方面,感知环境的激光雷达.毫米波雷达.摄像头.组合导航设备,感知车辆自身的包括轮速计和三大控制器的反馈量,而认知部分,包括决策和规划,是通常意义上的人工智能所在. 1. 行动层 首先谈谈行动层,即三大控制器,VSI并没有在图中标出相关的企业,看似与自动驾驶高大上的技术没关系,但这一块却是不容忽视的,尤其是在国内.

【智驾深谈】从滴滴Uber合并看中国智能出行“三国演义”

智能出行已俨然取代移动互联网,成为新一波产业浪潮.从互联网格局看,BAT之外,4年内即出现第4极,垄断中国互联网出行市场,并意图独霸未来智能出行市场. <经济学人>杂志本周发表封面文章称,以往,中国互联网公司被认为只会模仿美国同行,而滴滴和微信过去几年的发展表明,中国互联网公司已经有能力展开自主创新.尤其是在滴滴收购Uber中国之后,这些中国本土的自主创新正成为美国同行的效仿对象. 上一个移动互联网浪潮,中国在十几年的时间内,靠BAT成为互联网的一级,至少在中国市场占据了主导权.滴滴合并后,智

【智驾深谈】Tesla致命车祸的必然性:谈自动驾驶的三个命门

一个"量身定做"的事故 首先我们先来复盘一下整个事故,谈一下为什么我们觉得这个事故是"量身定做"而且必然的.先总结:一如既往蓝天白云且风和日丽的天气,一辆横在路上的白色重卡,一个热衷尝试新技术且对此深信不疑的驾驶员,一条笔直到让人犯困的公路,一套尚在完善的自动驾驶系统,车-路-人联手为新锐车企Tesla乃至整个自动驾驶产业"量身定做"了一个大新闻. 先上几张图,下面俯视图是事故发生的路段,一看就是事故多发路口,没有信号灯,横向是高速,纵向却有车流

【智驾深谈】李德毅院士:深度学习将成为智能驾驶的新维度

上期智驾深谈聊到智驾三层次:感知层.认知层和行动层. 实际上感知层面上,无论车道线.交通标志还是车辆识别,都已经大规模采用了深度学习技术:行动层由于汽车工业百年的发展和积淀,已经可以很好地由现代控制理论解决:所以就剩下认知层,还真是个大号的硬钉子. 一个好的认知模型需要对环境有精准的理解和预判,还需要据此做出下一步的决策和规划,这里面的挑战就是复杂的动态交通环境.在深度学习出现之前,很难有一个模型能够很好地对此建模.预测和决策.而李德毅院士的工作,就聚焦在利用深度学习技术,解决智能驾驶中认知的问

【智驾深谈】Tesla再现匝道口致命隐患:谈高精地图和定位的重要性

一起"莫名其妙"的事故 上图是WSJCD获取的车祸现场图片,可以看到车辆已经彻底翻了过来.首先关于这次翻车事故,因为影响面比较小,因此我并没有拿到足够多的证据证明车祸发生在匝道口,是我看到新闻后一下午的推测,但是关于匝道口是L3杀手这件事情,大家应该是有共识的,所以就当个引子说事吧. 如上图,新闻是这样描述的(国内见到一些新闻的翻译有一些问题),大概下午五点钟,天气和能见度都很好的情况下,一个画廊老板在Pennsylvania Turnpike向东行驶,到了Bedford出口附近,突然

【智驾深谈】撑起自动驾驶半壁江山:剧学铭谈Ibeo激光雷达

我做自动驾驶有些年头,研发过程中也接触过许多主流激光雷达产品(惭愧讲用坏过好几个),深知目前自动驾驶技术对激光雷达的依赖:一方面激光雷达为自动驾驶的感知系统提供了强有力的准确支持:另一方面相比毫米波和相机,其居高不下的价格也一直受人诟病. 后来机缘使然,我认识了剧学铭博士,他曾在慕尼黑工大任教,有多年宝马研究院自动驾驶项目传感器上扎实的工作,以及后来排除万难在北京创办欧百拓来推广Ibeo激光雷达,都给我留下了深刻的印象,而最让人敬佩的,是他对激光雷达由衷的热爱.在跟剧博士相识的颇久时间里,我们在

【智驾深谈】特斯拉死亡事故官方洗白,业界被判死缓(万字报告)

2016年5月7日,一款特斯拉2015 Model S型轿车在经过佛罗里达州Williston西郊高速公路的时候,与一辆拖挂卡车相撞,驾驶员当场收到致命伤害.从该车提取的数据显示: 碰撞时刻特斯拉处于Autopilot状态: 自动紧急制动(AEB)系统并没有提供任何预警或在碰撞时刻起作用: 驾驶员没有任何制动.转向或其他行为来避免碰撞. 2016年6月28日,NHTSA启动PE 16-007以"检查碰撞时刻现有所有自动驾驶系统的设计和效果".NHTSA的缺陷调查办公室Office of