Event Camera动态视觉传感器,让无人机用相机低成本进行导航

几年前,苏黎世大学的Davide Scaramuzza实验室为我们带来了一种动态视觉传感器——Event Camera。Event camera与普通照相机有很大的差别,它对于小巧迅捷的机器人是十分理想的,尤其当你更考虑减小碰撞的几率而非清晰拍摄事物的时候。

在提交给Robotics and Automation Letters的一篇论文中,Timo Horstschaefer、Antoni Rosinol Vidal、Antoni Rosinol Vidal和Antoni Rosinol Vidal教授首次展示了一架用于自主驾驶无人机的Event Camera,并承诺这将使无人机完成以前做不了的事情。

无人机自主导航成本最低的方法是使用相机。在这一点上,相机的成本几乎是零。非常重要的是如果你将相机与IMU融合,在移动速度不快,而且有可靠的照明设备情况下,相机就可以提供完全合理的状态评估。

状态评估——准确地知道你在哪里在做什么,这听起来很无聊,但对于自动机器人来说绝对是至关重要的。为了让机器人做出与周围环境交互的决策,它必须对自己的位置、移动速度和方向有很好的识别功能。

有很多方法可以进行状态评估,其中最精确的是耐用且价格不菲的场外运动捕捉系统。当你开始尝试用更小更简单的机器人进行状态评估时,问题就变得困难起来,特别是当你试图将其运用在高度动态的平台上,比如快速移动的四旋翼飞行器。

这就是为什么人们会忍不住要依赖相机,但是相机本身也有很多问题。第一个重要的问题是当传感器的移动超过所能被相机帧率捕捉上限时,相机的图片就会变得模糊;第二个问题是,相机和人眼一样对于光线非常讲究(金发女孩效应):它只能是刚刚好,既不能过少也不能过多,也不是在两极之间的任意值。

与传统相机相比,Event Camera是完全不同的,它不是记录一个场景的,而是记录一个场景的变化。在一个没有物体移动的场景中架设一台Event Camera,它不会显示任何东西。但是一旦Event Camera检测到运动(像素级的光线发生了变化),它就会在每个像素的基础上以非常高的刷新率(毫秒)呈现出来。如果你所关心的是在移动时避开物体,一台Event Camera就是你的不二之选,因为这种相机只是在寻找像素的变化,对低光也很敏感,并且不会因为强光而拍不到移动物体。

在苏黎世大学,他们使用了一个名为DAVIS的原型传感器。这个传感器是将一个Event Camera嵌入一个标准相机的像素阵列中,同时还嵌入了一个与事件和帧同步的IMU。通过这种方式,他们的四旋翼飞行器可以自主飞行,甚至是在光线变化的情况下也可以:在这项工作中,我们利用紧密耦合的事件、标准框架和惯性测量研发了第一个状态评估传递途径,这一传递途径实现这两个传感器互补优势。我们表明,我们的混合传递途径比仅用于事件处理的传递途径的精度提高了130%,而准确率比只有视觉惯性系统的标准框架超出了了85%,同时还维持了计算机可处理性。此外,我们使用此传递途径来演示了第一个使用Event Camera来进行状态评估的四旋翼飞行器,解锁飞行场景,这是传统的视觉惯性测程法不能做到的。我们证明我们甚至可以在低光(比如关灯后的房间)或高动态光照的环境(房间的一边是明亮的,房间的另一边是黑暗的)中飞行。

为了检测相对运动的精确状态评估,四旋翼飞行器的相机试图识别出独特的图像特征,并追踪这些特征是如何移动的。正如视频所显示的,当光线发生变化或太暗时,标准相机就会失效,而Event Camera则完全没有受到影响。研究者还未在户外(明亮的阳光和阴影之间的快速转换对于机器人来说是特别的挑战)进行测试,但是基于现阶段的成果,这非常有可能实现,并且我们很期待具有什么样新功能的传感器能够实现户外拍摄。

本文作者:captainyan

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-07-31 08:43:01

Event Camera动态视觉传感器,让无人机用相机低成本进行导航的相关文章

视觉传感器制造商Chronocam宣布完成1500万美元融资

10 月 24 日,视觉传感器制造商 Chronocam 宣布完成 1500 万美元融资,由英特尔资本领投,iBionext.Robert Bosch Venture Capital.GmbH 和 360 Capital等参投.公司计划利用本轮融资进一步推进技术研发,同时寻求合作伙伴将公司技术整合到他们的产品当中. Chronocam 创立于 2014 年,总部位于巴黎,致力于研发新型视觉传感器和系统,这些硬件被应用于机器视觉各个领域.其传感器技术的灵感来自于生物眼睛,能够高效获取并处理视觉信息

小块头大作用 新型低成本测距传感器适用于无人机

据外媒报道,法国传感器和传感解决方案供应商Terabee近日宣布推出了一款新型低成本测距传感器. 据了解,这款新型传感器产品名为"TeraRangerEvo",起始重量仅为9克.别看她块头小,最大测量距离却长达60米,对于无人机来说再合适不过了. 除了小体积和长测距以外,产品安全性也是重点考虑的因素.TeraRangerEvo没有采用传统的激光技术,而是采用了LED飞行时间(ToF)技术,因此更加安全.在产品易用性方面,TeraRangerEvo无需校准.补偿或数据转译,可实现即插即用

SLAM算法解析:抓住视觉SLAM难点,了解技术发展大趋势

SLAM(Simultaneous Localization and Mapping) 是业界公认视觉领域空间定位技术的前沿方向,中文译名为「同步定位与地图构建」,它主要用于解决机器人在未知环境运动时的定位和地图构建问题.本次阅面科技资深研究员赵季也将从 SLAM 方向着手,为大家展现更深层次的技术干货. 赵季:阅面科技资深研究员.2012 年获华中科技大学博士学位,2012 年至 2014 年在 CMU 机器人研究所做博士后.曾在三星研究院从事深度相机.SLAM.人机交互方面的研究.目前专注于

配备事件摄像机的无人机,首次实现成功自主飞行

近日,雷锋网消息,Antoni Rosinol Vidal.Henri Rebecq.Timo Horstschaefer以及Scaramuzza这四位教授在提交机器人与自动化信函的一篇论文中,首次介绍了一款已应用于自主驾驶无人机的事件摄相机,并强调它能够帮助无人机完成前所未能做的事情. 无人机为什么依赖摄像机 无人机采用摄像头来自主导航,这是一种相对成本较低的方法.如果将摄像头与IMU相融合,在移动速度不是特别快且光线稳定的情况下,则可以提供完全正确的状态估计. 说起事件摄像机,也许很多科技爱

从源头重塑整个机器视觉行业,这家中国公司要搞事情

自动驾驶.机器视觉.人工智能这些热词的背后,存在着一个常人容易忽略而又极其致命的漏洞:作为最前端的通用性技术,人们从来没有为机器打造过它们的"眼球". 简单的例子--我们任何用来做现有图像和视频录入的前端硬件,无论是大到ImageNet这样具备行业公信力的据库,还是小到只是把玩开源算法进行机器视觉应用初探的个人发烧者,是不是都有一些拿来主义了? 我们简单地拿着为了取悦人眼而设计的各类全幅高像素高对比度的视觉传感器来录入我们的机器"需要"的车道线判断.人脸识别.动态监

无人机和机器人专用传感器市场达3.51亿美元

随着越来越多热门科幻电影的上映,各种神奇的机器人.飞行器深受年轻人的喜爱.而在近几年,消费级无人机和家用机器人更是作为一个新兴热门行业而崛起,在全球高科技项目市场中倍受追捧.那些曾经在荧幕中才能看到的高科技工具,离普通老百姓的生活越来越近.据专家预测,到2018年,全球无人机市场规模将会攀升到10亿美元以上. 而在无人机和机器人的控制中,传感器起了至关重要的作用.近年来,全球传感器市场一直保持稳定增长,目前其主要应用于工业自动检测.自动控制系统以及汽车工业.而随着无人机以及机器人这些产业的发展,

实例分析静动态网页视觉的差异

这次要给大家分享的内容,就是关于静动态视觉传播在工作当中,所产生的变化和价值.希望通过我们在QQ游戏工作项目中,日常运营的一个简单例子.给大家分享一下,小小动态视觉表现的作用,以及我们设计师在项目中的思路与方法. 静态视觉传播:静态视觉传播范围广泛,形式多样,几乎涵盖了社会生活的方方面面.本文所提的静态视觉传播形式并不泛谈,仅以我在F1赛场的所亲眼见到的各种静态视觉传播形式为例,做个案分析.主要包括三种类型: 1.用于宣传F1车队.车手的广告.海报; 2.指引观众,介绍比赛和赛场的平面图画; 3

无人机即将颠覆未来

如果你对现在的无人机的看法是有趣,那是没有看透本质. 无人机正处于迷惑期,即将在以下领域颠覆世界-- 万事俱备 1980~2010 年取得的巨大改进令今日的无人机成为可能,以下 4 个领域的进步尤其巨大: 1. GPS:1981 年,第一台商用 GPS 接收机重达 50 磅,价格高达 10 万美元.现在 GPS 仅重 0.3 克,芯片价格不到 5 美元. 2. IMU:惯性测量装置(Inertial Measurement Unit ,IMU)用来测量无人机的速度.方位及加速度.1960 年代,

激光SLAM与视觉SLAM的现状与趋势

同时定位与地图构建(Simultaneous Localization And Mapping,简称SLAM),通常是指在机器人或者其他载体上,通过对各种传感器数据进行采集和计算,生成对其自身位置姿态的定位和场景地图信息的系统.SLAM技术对于机器人或其他智能体的行动和交互能力至为关键,因为它代表了这种能力的基础:知道自己在哪里,知道周围环境如何,进而知道下一步该如何自主行动.它在自动驾驶.服务型机器人.无人机.AR/VR等领域有着广泛的应用,可以说凡是拥有一定行动能力的智能体都拥有某种形式的S