Facebook宣布全面转为神经网络人工智能翻译

雷锋网 AI 科技评论按:语言翻译是一股能够让人们组建群体和使世界更加紧密的力量。
它可以帮助人们与在海外居住的家庭成员联系起来,或者可以更好地了解讲不同语言的人们的观点。
通过使用机器翻译,自动翻译文章和评论,以打破语言障碍,使得世界各地的人们可以相互沟通。

即便体量大如
Facebook,想要为20亿使用的用户创造无缝、高精确的翻译体验也是很困难的,这需要同时考虑上下文、俚语、打字错误、缩写和语意。
为了继续提高翻译质量,Facebook团队最近宣布从基于短语的机器翻译模型切换到基于神经网络的翻译模型,来支持所有的后端翻译系统。每个翻译系统每天翻译超过2000个翻译方向和45亿个翻译。
这些新模型能够提供更准确和更流畅的翻译体验,改善了人们在使用Facebook时,阅读由非常用语言撰写的内容时的阅读体验。雷锋网(公众号:雷锋网) AI 科技评论根据 Facebook 文章对相关情况编译介绍如下。

使用上下文

Facebook以前使用的基于短语的统计技术确实有效,但它们也有局限性。基于短语的翻译系统的一个主要缺点是它们将句子分解成单个单词或短语,因此在生成翻译时,他们每次只能考虑几个单词。

这种方法导致当翻译具有明显不同字词排序的语言时会出现翻译困难的情况。为了弥补这个问题并构建神经网络系统,Facebook开始使用一种被称为序列到序列LSTM(long
short-term memory)的循环神经网络。
这种网络可以考虑源语句的整个上下文以及到目前为止生成的一切内容,以创建更准确和流畅的翻译。
这样当遇到例如在英语和土耳其语之间翻译字词排列不同时,可以重新排序。 当采用基于短语的翻译模型从土耳其语翻译到英语时,获得以下翻译:

与基于神经网络的从土耳其语到英语的翻译相比较:

当使用新系统时,与基于短语的系统相比,BLEU平均相对增长了11% - BLEU是广泛使用的用于判断所有语言的机器翻译准确性的度量标准。

处理未知词

在许多情况下,源语句中的单词在目标词汇表中并没有直接对应的翻译。
当发生这种情况时,神经系统将为未知词生成占位符。
在这种情况下,可以利用注意机制在源词和目标词之间产生的软校准,以便将原始的源词传递到目标句子。
然后,从培训数据中构建的双语词典中查找该词的翻译,并替换目标语句中的未知词。 这种方法比使用传统字典更加强大,特别是对于嘈杂的输入。
例如,在从英语到西班牙语的翻译中,可以将“tmrw”(明天)翻译成“mañana”。虽然增加了一个词典,BLEU得分只有小幅的改善,但是对于使用Facebook的人而言评分更高了。

词汇量减少

典型的神经机器翻译模型会计算目标词汇中所有单词的概率分布。
在这个分布中包含的字数越多,计算所用的时间越多。 通过使用一种称为词汇减少的建模技术,可以在训练和推理时间上弥补这个问题。
通过词汇减少,可以将目标词汇中最常出现的单词与给定句子的单个单词的一组翻译候选相结合,以减少目标词汇的大小。
过滤目标词汇会减少输出投影层的大小,这有助于更快的计算,而且不会使过大的降低质量。

调整模型参数

神经网络几乎通常具有可调参数,可以通过这些参数调节和控制模型的学习速度。
选择超参数的最佳集合对于性能是非常有帮助的。
然而,这对于大规模的机器翻译提出了重大的挑战,因为每个翻译方向是由其自己的一组超参数的唯一模型表示。
由于每个模型的最优值可能不同,因此必须分别对每个系统进行调整。 Facebook团队在数月内进行了数千次端对端翻译实验,利用FBLearner
Flow平台对超参数进行微调,如学习率,注意力类型和总体大小。 这些超参数对一些系统有重大影响。
例如,仅基于调优模型超参数,就可以看到从英语到西班牙语系统的BLEU相对值提高了3.7%。

用Caffe2缩放神经机器翻译

过渡到神经系统的挑战之一是让模型以Facebook上的信息规模所需的速度和效率运行。 因此Facebook团队在深入学习框架Caffe2中实现了翻译系统。 由于它的灵活性,因此能够在GPU和CPU平台上进行训练和推理,来调整翻译模型的性能。

关于培训,该团队实施了内存优化,如blob回收和blob重新计算,这有助于更大批量的培训,并更快地完成培训。
关于推理,该团队使用专门的向量数学库和权重量化来提高计算效率。 现有模式的早期基准表明,支持2000多个翻译方向的计算资源将会非常高。
然而,Caffe2的灵活性和该团队使用的优化模型使计算提高了2.5倍的效率,因而能够将神经机器翻译模型应用到实际中去。

该团队还遵循在机器翻译中常用的在解码时使用波束搜索的做法,以根据模型改进对最可能输出的句子的估计。 利用Caffe2中的循环神经网络(RNN)抽象的一般性来实现波束搜索,直接作为单个前向网络计算,这样就实现了快速有效的推理。

在这项工作的过程中,该团队还开发了RNN构建块,如LSTM,乘法集成LSTM和注意。 这项技术将作为Caffe2的一部分分享出来,并为研究和开源社区提供学习素材。

正在进行的工作

Facebook人工智能研究(FAIR)团队最近发表了使用卷积神经网络(CNN)进行机器翻译的研究。
Facebook 代码团队与 FAIR 密切合作,在不到三个月的时间里,完成了将这项技术从研究到首次投入生产系统中使用的流程。
他们推出了从英文到法文和从英文到德文翻译的CNN模型,与以前的系统相比,BLEU的质量提升分别提高了12.0%(+4.3)和14.4%(+3.4)。
这些质量改进让该团队看到CNN将成为一个令人兴奋的新发展道路,后面他们还将将继续努力,利用CNN推出更多的翻译系统。

目前机器翻译刚刚开始使用更多的翻译语境。 神经网络开辟了许多与添加更多上下文相关的发展方向,以创建更好的翻译,例如伴随文章文本的照片。

该团队也开始同时探索可以翻译许多不同语言方向的多语种模式。 这将有助于解决与特定语言对相关的每个系统的微调的挑战,并且还可以通过共享培训数据为某些翻译方向带来质量提高。

对Facebook而言,完成从短语到神经机器翻译的过渡,是一个里程碑,代表了为所有人提供他们常用语言下的更优质的Facebook体验。 他们还将继续推进神经机器翻译技术,目的是为Facebook上的每个人提供人性化的翻译。

via code.facebook.com 雷锋网 AI 科技评论编译

本文作者:哈帝•白求恩

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-09-21 21:59:18

Facebook宣布全面转为神经网络人工智能翻译的相关文章

Facebook 开源三款图像识别人工智能软件

Facebook今天开源了三款人工智能图像分割(Image Segmentation)软件,分别是DeepMask.SharpMask和MultiPathNet,三款工具相互配合完成一个完整的图像识别分割处理流程,DeepMask生成初始对象mask.SharpMask优化这些mask,最后由MultiPathNet来识别这些mask框定的物体.SharpMask目前已遵循BSD授权协议在GitHub上公开源码. Facebook的人工智能研究实验室(FAIR)此前曾在多篇学术论文中讨论过以上开

解读Facebook CAN:如何给人工智能赋予艺术创作的力量

雷锋网 AI 科技评论按:能够迭代进化.模仿指定数据特征的GAN(生成式对抗性网络)已经是公认的处理图像生成问题的好方法,自从提出以来相关的研究成果不少,在图像增强.超分辨率.风格转换任务中的效果可谓是惊人的. (具体可以参见 Valse 2017 | 生成对抗网络(GAN)研究年度进展评述 - 雷锋网(公众号:雷锋网) ) 利用GAN达到图像超分辨率和风格转换示例 今年也有利用GAN做的简笔画到图像转换模型pix2pix(代码地址 https://github.com/phillipi/pix

快9倍!Facebook开源机器学习翻译项目fairseq

Facebook的使命是让世界变得更加开放,让每个人都能以最高的准确性和最快的速度使用自己喜欢的语言来发帖子和视频进行互动,语言翻译对此十分重要. 雷锋网了解到,今天,Facebook的人工智能研究团队发表了他们的研究成果Fairseq,他们使用了一种新型的卷积神经网络来做语言翻译,比循环神经网络的速度快了9倍,而且准确性也是现有模型中最高的.此外,FAIR序列建模工具包的源代码和训练好的系统都已经在开源平台GitHub上公布,其他的研究者可以在此基础上建立自己的关于翻译.文本总结和其他任务的模

Facebook从微软挖走多名人工智能专家

Facebook已经组建了人工智能研究组,研究员数量已经超过了四十人. Facebook的人工智能团队成功从微软公司挖来了多位资深专家. Facebook的创新研发共有三大板块,除了人工智能之外,另外一个是知名度最高的虚拟现实业务(Facebook已经斥资20亿美元收购了OculusVR公司),以及提供互联网接入的大型无人机. 据美国科技新闻网站VentureBeat报道,Facebook已经组建了名为"Facebook人工智能研究组"(FAIR)的正式研发机构,在美国的硅谷和东部的纽

AI翻译离无障碍交流有多远

AI翻译服务通过硬件.软件连接千千万万个应用场景,会打破语言不通的尴尬局面吗?会是人工翻译的终结者吗? 世界这么大,我想去看看!十一长假临近,梦想中的你背起行囊,自由行走在异国的大街小巷.然而现实的画风很有可能是这样的:走出国门没几天,你就发现期待已久的旅行,因为看不懂听不懂,而身在囧途.此时的你捶胸顿足地感慨道:世界上最遥远的距离,不是天涯海角,是你站在我面前,我却不知道你在说什么. 9月21日,百度智能翻译机在日本发布.名古屋有哪些好玩的景点?怎么乘车最便捷?翻译机流畅精准的中日互译令人惊叹

DT科技评论第19期:微软年底又放大招,发布多人多语种实时翻译功能

DT科技评论 Data Technology Review 第 19 期           人民网研究院,阿里云研究中心 本期目录 微软年底又放大招,发布多人多语种实时翻译功能 微软风投成立新基金 未来专注投资人工智能公司 谷歌计划明年用电全部基于新能源 比尔·盖茨牵头成立10亿美元新能源投资基金 勒索软件提供免费解密密钥 亚马逊正式完成世界上第一份无人机送货 谷歌无人车成立独立实体公司 Waymo 苹果爆出全新专利,疑是无人机项目 McAfee发现93%的使用者无法将风险正确分级 Faceb

F8 2017 | 技术负责人为你解析 Facebook 神经机器翻译

该讲座主题为 Facebook 机器翻译的两代架构以及技术挑战. 雷锋网消息:在昨日的 F8 会场,该讲座吸引了众多开发者到场,主讲者是 Facebook 语言翻译部门技术负责人 Necip Fazil Ayan. Necip Fazil Ayan 首先介绍了 Facebook 翻译业务的使命和愿景,以及对机器翻译的应用. 使命与愿景 Necip Fazil Ayan:Facebook 希望推动建立一个真正的全球社区,即"连接世界":每个人都能与全世界任意国家的人.任意语言内容自如交互

深度 | 人工智能全局概览:通用智能的当前困境和未来可能

我们的未来将不可避免地与人工智能捆绑在一起,于是我们就必须要问:人工智能的现状是怎样的?我们将走向何方?(可点击阅读原文下载原版 PDF) 目录 如今人工智能的能力和局限 迈向通用人工智能 训练还是不训练 智能的意义 助理还是主角? 为何人们对人工智能的兴趣大增? 建立知识数据库 产生结果 道德和未来 总是在未来 定义人工智能不是困难,而简直是不可能,这完全不是因为我们并不理解人类智能.奇怪的是,人工智能的进步更多的将帮助我们定义人类智能不是什么,而不是定义人工智能是什么? 但不管人工智能是什么

巨头竞相押宝人工智能,下一个十年该看谁?

联合编译:Blake.高斐 苹果.谷歌还有Facebook都在投资人工智能,它们的计划是什么?还有哪些重量级玩家? 很难确切地说人工智能(AI)究竟会沿着哪条路继续往下走,但是随着像Google.Facebook以及谷歌大举进军该领域,还有霍金(Stephen Hawking)与Elon Musk一直在呼吁对AI研究进行规范与监控,有关它的话题绝必将持续激烈地争论下去. 本文中我们将对目前投资人工智能领域的几大巨头进行介绍: Facebook 据消息称,Facebook正在使用人工智能技术帮助盲