我们如何利用AI和机器学习将游戏引入现实生活?

“游戏开发”是一项非常复杂的任务,并且需要耗费大量的人力资源。图形艺术家、故事叙述者和软件工程师需要共同努力,才能打造出比较好的游戏环境、游戏情节和人物角色行为。通常,游戏是以传统代码的形式出现的“硬线行为”的微妙组合,也是以大量规则的形式出现的更具响应性的行为集合。在过去的几年间,数据导向型的“机器学习”已经逐渐取代了一些企业(比如亚马逊、Netflix和优步)中的规则导向型系统。在Unity,我们探究了“机器学习”技术的使用,包括“深度学习”在文本创作中的应用,以及“深度加强学习”在游戏开发中的应用。在机器学习和人工智能的浪潮中,我们看到了巨大的希望和发展空间。

对于那些数据导向型的大企业来说,机器学习已经不算是新兴技术了。2007年,Netflix发起了一个“过滤算法”的公开赛,为能够预测电影用户评分的最佳过滤算法专门设立了“Netflix奖”,这正是我们现在所经历的人工智能媒体报道浪潮的开端。不过早在2000年年初,一些大企业为了谋求更好的发展,已经对“数据导向型决策”和“机器学习”有所涉猎了。为了充分了解顾客们的偏好,进而将顾客偏好转化为更高的销售额,亚马逊一直在潜心研究他们的“推荐算法”。除了亚马逊的“推荐算法”之外,广告技术是另一个较早利用“机器学习”来提高网站点入率的领域。近年来,机器学习已经扩展至更多的行业,并且不断趋于成熟。

举例来说,我们在前面提到过的“推荐算法”最初只是作简单的推荐方案,如今已经发展到能够通过“探索”和“开发”寻求更多的信息。而亚马逊和Netflix在使用他们的推荐系统进行数据收集时所面临的挑战是,如果只向客户展示推荐频率高的产品,而不展示其他的产品,那么他们获得的客户偏好信息就不全面。而解决这一问题的方法是:将纯开发行为转变为加入了探索元素的开发行为。最近,由于同时具备了“开发”和“探索”能力,像“上下文老虎机”(contextual bandits)这样的算法能够更好地了解客户的未知信息,也因此越来越受欢迎。相信我,“上下文老虎机” (contextual bandits)算法肯定会在你浏览亚马逊商城的时候隐藏了一些网页。我们在“Unity博客”上发表了一篇文章,文章讲述了“上下文老虎机” (contextual bandits)算法的强大功能,从中你可以看到该算法的互动演示。

在2015年,DeepMind进一步发展了“上下文老虎机” (contextual bandits)算法,并且将其从一个深度神经网络与加强学习大规模结合的系统上发布出来。该系统仅靠一些作为输入的原始像素和分数就能以超人类的水平掌握各种范围的Atari 2600游戏。Deepmind的研究人员将“开发”和“探索”的概念完全对立,“上下文老虎机” (contextual bandits)算法不太擅长行为学习,但是“深度加强学习”却能够学习用于最大化“未来累积红利”的行为顺序,换句话来说,深度加强学习会学习那些能够实现“长期价值”(LTV)最优的行为。在一些Atari游戏中,“长期价值”表现在那些通常为人类玩家保留的策略发展上。

在Unity,我们给自己提出了这样一个问题:如何让一只鸡学会穿过繁忙的道路而不被迎面而来的汽车撞上,同时还要收集道路上的礼包?我们采用了一种与DeepMind实验非常类似的通用“加强学习”算法,并且规定如果小鸡捡到礼包获得正分,被车撞到则获得负分。除此之外,我们还给小鸡设定了四个动作:左移、右移、前进和后退。依靠这些原始像素和分数输入,以及几个非常简单的指令,小鸡在不足六个小时的训练后就达到了超人类水平的性能。

那么我们究竟是如何从实际应用的角度做到这一点的呢?其实很简单。我们使用了一组Python APIs,将Unity游戏与运行于“亚马逊网络服务器”(AWS)的TensorFlow服务相联系,TensorFlow是谷歌在2005年首次发布的深度学习框架。仔细观看视频中,你会发现小鸡在训练的初期阶段主要是探索如何不被汽车撞上(探索阶段),随着训练的深入,小鸡开始学习收集礼包(开发阶段)。值得关注的是,这个学习系统的一个重要能力就是处理从未遇到的状况。游戏中汽车的出现和礼包的放置都是完全任意的,而尽管小鸡已经经过了几个小时的训练,它还是会遇到之前训练中没有经历过的情境。有了我们的Python API,读取游戏框架和游戏内部状态,使用机器学习对游戏进行反向操作就变得非常简单了。

这只游戏小鸡的训练给亚马逊、Netflix和优步的发展提供了一些灵感,他们可以运用相同的技术来优化其客户服务。

想象一下,假如要训练一个“非玩家游戏角色”(NPC),而不是对其行为进行编码,那么游戏开发者就需要创建一个游戏场景。在这个场景中,我们将会利用与Python API相联的“云加强学习”来训练NPC。这个游戏场景可以是完全虚拟合成的,也可以在其中加入一些人类玩家。当训练到一定程度,这个NPC的性能已经相当不错的时候,游戏开发者就能利用另一组Unity API将TensorFlow模型直接嵌入他们的游戏中,这样一来,游戏就不需要连接TensorFlow的云服务了。

有些游戏开发者可能会说:“早在10到15年前,我们就已经这么做过了。”但是时代已经发生了巨大的变迁。尽管我们已经发明了“递归神经网络”(RNN),比如用于序列学习的“长短时记忆”(LSTM)和用于空间特征学习的“卷积神经网络”(CNN),但是由于计算能力的欠缺,以及大规模、精细软件框架的缺失,这些神经网络在实际应用方面,如游戏开发,仍面临巨大的阻碍。

“深度加强学习”在游戏开发中的运用尽管仍处于初期发展阶段,但是我们清楚地知道它将很可能成为一项颠覆性的游戏技术。像TensorFlow这样成熟的机器学习框架正在不断降低游戏开发者和机器学习研究者的入门门槛。机器学习现在正不断进入企业的各个角落,那么我们完全有可能在未来游戏中的发现机器学习的影子。

想要了解更多关于用深度学习开发数字体验的讯息,请查看Danny Lange于2017年9月17至20日在美国洛杉矶“人工智能大会”上发表的《利用“深度学习”将游戏、VR和AR引入现实生活》。雷锋网也将做持续关注。

本文作者:图普科技

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-11-02 10:15:57

我们如何利用AI和机器学习将游戏引入现实生活?的相关文章

考拉阅读CEO赵梓淳:如何利用AI、语言学做出国内首个中文分级阅读系统?

在一批在线教育试水者当中,赵梓淳带领的考拉阅读有点不太一样. 因为国内做分级阅读的虽然不多,但是做中文的分级阅读,国内目前却仅有他们一家. 考拉阅读CEO赵梓淳 在在线教育这个领域,考拉阅读算是一名新人--成立不足1年,团队堪满60人,刚完成3000万的Pre-A轮融资.在创始人赵梓淳眼中,阅读教育是一项非常庞大的产业,AI+教育的未来仍存在很多不确定性.考拉阅读也还处于摸索阶段. 为什么要做中文的分级阅读标准? 事实上,在国内,如好未来.VIPkid等一些在线教育企业已经在做英文的分级阅读,虽

为什么AI,机器学习将在2017年成为主流

本文讲的是为什么AI,机器学习将在2017年成为主流[IT168 编译]人工智能将在2017年达到主流,因为机器学习和分析的价值已经变得愈发明显.这里是一些企业高管的预测. AI将通货膨胀 "AI对于许多投资者来说是一个大的主题,包括我自己,虽然我们正处在技术变革周期AI的开端,但是创业公司和投资者需要保持耐心,专注于未来的挑战."- Rick Yang,NEA合作伙伴. 机器学习是潮流趋势 "现在有很多关于机器学习的炒作,但在大多数情况下,它并没有非常有效地被使用. 在我们

ARM公司推出AI与机器学习用新型微处理器

智能芯片设计厂商ARM控股公司今天展示了其最新微处理器设计方案,并宣称这款处理器能够在手机.个人计算机以及联网车辆等平台上支持智能化系统. 这款全新多核心.微架构方案被命名为DynamIQ,其将作为下一代Cortex-A处理器的设计基础.从传统角度讲,ARM公司的微处理器一直专注于支持智能手机与平板电脑,但如今该公司表示DynamIQ灵活多变的特性中心支持任何类型设备上的智能系统. 这一全新设计亦标志着ARM公司的一项重大突破.迄今为止,ARM芯片一直专注于提升能源效率以延长电池寿命.这样的优势

专访平安健康险张守春:我们是如何利用AI升级保险业务,完善技术商业闭环的?

AI掘金志(公众号):雷锋网旗下只专注于报道AI商业化与落地的垂直内容频道.助力"AI技术输出者"寻找商业潜力大的落地场景,服务"AI技术消费者"选择适合自身的技术供应商. AI掘金志主要推送两类文章: 1.深入挖掘AI公司与传统机构的合作案例. 2.剖析各地医院.银行.制造企业.零售商.政府部门等传统机构对AI的需求与实际应用情况. 数据显示,2016年的健康保险市场是2015年的4.8倍,随着老龄化政策的逐步放开以及消费升级,预计到2020年整个健康保险市场高达

利用AI视频监控“预测犯罪”,这事儿到底靠谱吗?

2002年<少数派报告>中的一个场景让人印象深刻,影片中谈到未来是可预知的,利用技术使得罪犯在行凶之前就得到惩罚. 不少人感慨,如果这些技术在现实生活中存在,对于公共治安无疑是极大的利好. 利用AI"预测犯罪"初获进展 而在今天,这事儿真的有进展了. 雷锋网了解到,最近网上疯传着AI"预测"犯罪的相关消息,大概是说利用人的行为模式.轨迹等数据评估相关人犯罪的可能性. 据悉,它能对犯罪行为进行辨别,通过大量数据快速分析出看似毫无关系.错综复杂的违法犯罪案例

谷歌收购 Kaggle 为什么会震动三界(AI、机器学习、数据科学界)?

在昨晚的 Google Cloud Next 谷歌云计算开发者大会上,华人 AI 学界的骄傲.谷歌云首席科学家李飞飞宣布了一则重大消息:谷歌收购 Kaggle. 其实,关于这事儿,近两天陆续有风声传出.但谷歌和 Kaggle 对各路媒体总是一副"无可奉告"的态度,导致大家各自猜测,但无从证实.即便是李飞飞在 Next 大会上对全世界进行宣布,也仅仅停留在"没错,我们是收购了 Kaggle,这事儿对双方都有好处"的层面:对收购细节.未来计划等信息一概无涉,更不要提收购

大牛教你利用AI驱动广告自动化投放

广告投放系统很多,大的有Google,百度,阿里等的广告投放系统,小型的广告投放系统也屡见不鲜,深挖其背后的运作机理,不外乎利用人工智能算法,结合用户信息.网页信息,上下文信息.广告信息以及其他对广告有影响的信息数字化.向量化进行广告投放.不过,广告投放系统本身也在发生细微的变化,如何利用AI实现广告投放的自动化与精准化,本次讲堂我们请来徐江博士为我们传授实战经验. 嘉宾介绍 徐江 清谷科技创始人 本科毕业于清华大学自动化专业,之后获得美国西北大学人工智能与机器学习方向博士. 2014年加盟My

搞定大数据:AI和机器学习在数据处理与保护上的应用

作为咨询师和顾问,有关各自数据.信息和网络安全事务时,重复"规模"问题挺有难度.不幸的是,上市公司的"外行"总监和管理人员,以及政府高管,倾向于将"规模"(当它属于数据保护的时候)看做不好的东西,甚至是令人恐怖的事物. 原因部分在于,几乎没有什么实用的方法,可以向这些位置上的人解释:某组织的安全运营中心是有可能每天收到百万个"事件",以及,同时处理和调查这些事件的固有潜在危害,以及,适度保证没有任何一起事件能够溜过安全人员的检

利用AI+PS制作假日热销3D文字特效教程

先说一下开篇的废话.做立体字可以用到的办法有很多,效果最好的,当然还是专业的3D软件来做的好,比如3DS MAX.MAYA等等,可以作出很多特殊的, 逼真的立体效果. 但是在常用的网站专题,一些品面广告用3D,一来一般的3D软件平面和网页设计玩的不是很转, 二来就是一些效果比较耗时..所以现在的AI, CDR等等的都可以做一些简单的3D效果,然后在用PS来处里加工,可以作出一些基础的可以突出显示主题的3D文字特效来,来提高专题页面.平面广告的视觉效果. 好,废话就到这里, 开始正题. 效果图: