Google 研究人员提出防止机器人造反的方法

无数的科幻电影和小说描绘了产生自我意识机器人的起义以及随后的人类的灭绝。今天的机器人距离产生自我意识还很遥远，但对于越来越依赖于人工智能的现代社会，我们至少需要一些措施以防止人工智能工作异常。Google Deep Mind团队和牛津大学的研究人员发表了一篇论文《Safely Interruptible Agents》（PDF）就描述了这样一个机制。研究人员指出，在复杂环境下工作的AI（或叫强化学习代理）的行为表现不可能一直保持最佳，在人类监管下的AI可能需要操作员按下一个红色按钮防止AI继续执行有害的动作，从而进入到安全状况下。但AI可能会学习绕过这种人为的中断，比如关闭红色按钮。这篇论文探讨了一种方法确保AI不会寻求或阻止人类发出的中断命令。

文章转载自 开源中国社区[http://www.oschina.net]

时间： 2024-07-30 09:59:03

Google 研究人员提出防止机器人造反的方法的相关文章

研究人员提出了一种办法用于阻止监控 Torrent

这是一个众所周知的事实,即版权保护组织正在监控Torrent文件,刺探是谁下载它们的版权作品.现在Aymeric Vitte发现了一种方法来检测这些Torrent监控活动,甚至阻止它们收获Torrent点对点的活动数据.Aymeric Vitte提出的这种反监控方法,使用了用户本身数据和DHT协议. 根据他的研究,Torrent监控分为两个层次.第一个层次是最大的,并且遍布BitTorrent的网络,收集有关上传者和连接的信息.第二个层次小得多,但它通常是Torrent用户载跟头的地方,他们被引

研究人员提出增强Wi-Fi传输的新方法

如果你想知道自己的Wi-Fi信号为什么时好时坏,不能覆盖整个房子,其中一个原因是所使用的频率并不适合这一目标.便即提升路由器和天线设计,情况也仍然如此.Wi-Fi通常在2.4 GHz和5 GHz中使用微波频率,这些信号并不具备良好的穿透性.   UHF 部分科学家认为从400 MHz至700 MHz的UHF频谱更为适合,首先其无线电波可更好的覆盖目标.尽管如此,它们并不只有交换那样简单.这一UHF频谱被用于电视广播,这些设备是最先使用这一频谱的,因此它们可以选择最佳的频率.电视公司喜欢这些UHF

自动化所马佳彬、王威、王亮等研究人员提出不规则卷积神经网络：可动态提升内核效率

近年来,卷积神经网络(CNN)在学界和业界广受欢迎,已被成功地应用到各种特征提取的任务当中.CNN的效果相较于前有很大提升,对各种任务的实用性都非常的强,但尽管如此,经典CNN仍存在一些问题值得探讨和深究. 图1 规则与不规则卷积核的对比. (a) 不规则输入特征,其范围超越了3x3的区域 (b)两个3x3的卷积核,它们联合建模了输入特征 (c)从3x3卷积核到不规则卷积核的变形过程示例. 首先,卷积核的规则形状和不规则的特征模式并不匹配.在视觉任务中有一个重要的事实:虽然输入图像拥有矩形的形状

荷兰研究人员提突破性想法：用红外线传输网络，比WiFi快100倍

这年头咱们去餐馆吃饭.商场购物,最喜欢的就是蹭个免费Wi-Fi,省流量不说,速度也是杠杠的没得喷(当然也有因同时连接人数过多速度卡成狗的,但和免费相比这些都可以忍受了吧). 在光纤入户,独享10M.20M.30M甚至100M网络带宽下,你以为Wi-Fi的速度就很快了吗? 大错特错!Wi-Fi本身就是一种卡网速的存在. 最近荷兰埃因霍温理工大学研究人员提出了一个突破性的想法,使用红外线把无线数据带到笔记本电脑和智能手机上,其结果竟然比Wi-Fi快100倍,而且还不受干扰. 据埃因霍温理工大学教授T

研究人员发现物联网存在安全漏洞

日前,密歇根大学和石溪大学的研究人员发表了一篇文章,解释了一种关于物联网安全挑战的新方法.研究人员提出了这个问题:"当我们谈论物联网时,安全科学中有什么新的智力挑战?我们可以使用目前已知的安全技术来解决什么问题?" 这种研究方法很容易获得,因为它通过智能手机.个人计算机和云计算的安全方法的比较,利用现有的类别和概念来识别对物联网安全的差距和挑战.物联网堆栈是用熟悉的层进行定义的: • 硬件 • 系统软件 •网络 •应用程序层运行自定义代码 受限的硬件层 硬件层受到低性能8位和16位微控

阿里安全潘多拉实验室的研究人员揭秘如何完美越狱苹果iOS11.2.1

知道如何从攻击的视角去发现漏洞,才能建立更安全的体系,促进了整个生态的良性发展. 近日,阿里安全潘多拉实验室接连完美越狱苹果iOS 11.2和iOS 11.2.1,其中iOS 11.2.1更是在正式发布后数小时内即被潘多拉实验室的研究人员"破解". 事实上,阿里安全潘多拉实验室对苹果iOS系统的越狱仅限于安全研究之用,并不会对外提供越狱工具.不仅如此,潘多拉实验室在对移动系统的安全研究过程中,会将发现的问题上报给厂商,共同提升行业的安全水位. 据悉,阿里安全潘多拉实验室今年才正式成立,

日本研究人员研发磁性开关 让存储设备容量翻倍

日本研究人员已经开发出可以磁性和非磁性状态之间来回切换快速的储存材料和装置,这样一来,他们已经有可能将固态驱动器和USB闪存驱动器的存储容量翻倍.在磁存储当中,一个磁性膜在各区域的磁化方向代表数据,而以二进制形式的电子存储装置当中数据存储在数百万个微型逻辑门内. 北海道大学的研究人员认为,如果存储材料可以磁性和非磁性状态之间来回迅速切换,将有可能为现有0/1形式存储的数据添加A / B磁存储形式.在本质上,这可能会将存储容量翻倍. 他们研发了过渡金属氧化物来作为存储材料,因为它们获得或失去氧化物

研究人员实现用声波入侵手机

这种入侵手法显示,在电子设备复杂性日益增长的今天,漏洞几乎无法预测. 密歇根大学的研究人员本周二发表了一篇论文,论述了通过音频能够发送虚假读数给装有加速计组件的设备,这些设备包括手机.运动手环,以及各种依靠加速计来判断当前运动状态的电子玩具,也就是说所有带加速计的智能设备都可能受此漏洞的影响. 智能设备对加速计的依赖,如同人体对耳朵.眼睛和鼻子的依赖.因此,发送错误的信息给加速计能够造成非常大的危害. 如果自治系统无法信任自己的感知,那么这种系统的安全性和可靠性就会荡然无存. 利用声波发起攻击并

研究人员发现将Android恶意应用隐藏在图像中的方法

两名研究人员找到了一种新方法将恶意程序安装到Android用户的设备上:将其隐藏在图像中(论文PDF).恶意程序研究人员Axelle Apvrille和逆向工程师Ange Albertin开发了一种定制的工具AngeCryption( Python脚本)加密恶意程序的APK文件(Android application package),使其伪装成一个图像文件,他们之后又创建了另一个APK文件,能解密和安装加密的图像文件. 恶意程序因为加了密,所以杀毒和安全工具无法检测出.在测试中,他们的合法墙纸