一窥谷歌神经机器翻译模型真面貌,其底层框架开源!

去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-sequence (“seq2seq”) 的模型。现在,它已经用于谷歌翻译的产品系统。

虽然消费者感受到的提升并不十分明显,谷歌宣称,GNMT 对翻译质量带来了巨大飞跃。

但谷歌想做的显然不止于此。其在官方博客表示:“由于外部研究人员无法获取训练这些模型的框架,GNMT 的影响力受到了束缚。”

如何把该技术的影响力最大化?答案只有一个——开源。

因而,谷歌于昨晚发布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示,它使开发者试验 seq2seq 模型变得更方便,更容易达到一流的效果。另外,tf-seq2seq 的代码库很干净并且模块化,保留了全部的测试覆盖,并把所有功能写入文件。

该框架支持标准 seq2seq 模型的多种配置,比如编码器/解码器的深度、注意力机制(attention mechanism)、RNN 单元类型以及 beam size。这样的多功能性,能帮助研究人员找到最优的超参数,也使它超过了其他框架。详情请参考谷歌论文《Massive Exploration of Neural Machine Translation Architectures》。

上图所示,是一个从中文到英文的 seq2seq 翻译模型。每一个时间步骤,编码器接收一个汉字以及它的上一个状态(黑色箭头),然后生成输出矢量(蓝色箭头)。下一步,解码器一个词一个词地生成英语翻译。在每一个时间步骤,解码器接收上一个字词、上一个状态、所有编码器的加权输出和,以生成下一个英语词汇。雷锋网提醒,在谷歌的执行中,他们使用 wordpieces 来处理生僻字词。

据雷锋网(公众号:雷锋网)了解,除了机器翻译,tf-seq2seq 还能被应用到其他 sequence-to-sequence 任务上;即任何给定输入顺序、需要学习输出顺序的任务。这包括 machine summarization、图像抓取、语音识别、对话建模。谷歌自承,在设计该框架时可以说是十分地仔细,才能维持这个层次的广适性,并提供人性化的教程、预处理数据以及其他的机器翻译功能。

谷歌在博客表示:

“我们希望,你会用 tf-seq2seq 来加速(或起步)你的深度学习研究。我们欢迎你对 GitHub 资源库的贡献。有一系列公开的问题需要你的帮助!”

GitHub 地址:https://github.com/google/seq2seq

GitHub 资源库:https://google.github.io/seq2seq/nmt/ 

本文作者:三川

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-10-21 15:42:40

一窥谷歌神经机器翻译模型真面貌,其底层框架开源!的相关文章

【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真

"从事翻译的人很可能会看到一些工作机会在不断消失,他们必须要习惯一种'创业思维'." 5月27日,中国围棋大师柯洁在与AlphaGo的围棋对决中输掉最后一盘,0:3输掉全部比赛.当下,AI 所激起的惊慌不仅在围棋界蔓延,而且扩展到了几乎每一个领域,翻译受到的冲击尤为严重.现在,谷歌等公司向全世界提供免费的翻译服务,并且,已经可以提供"可理解"的翻译结果. 牛津大学最近完成了一项对机器学习研究人员的大型调查,调查内容是他们对 AI 进展的看法.综合这些研究人员的预测,

谷歌启用神经机器翻译系统:准确率大增

11月16日消息,谷歌曾于今年9月底公布了全新的神经机器翻译系统(Google Neural Machine Translation:GNMT),现在这一全新翻译系统已经在谷歌翻译应用和网页版翻译中启用,能够大大提高翻译的准确度. 据悉,谷歌此前的翻译服务基于词组机器翻译系统(PBNT),即独立翻译句子中的每个单词和词组表达,这种翻译有时会错误百出,而新的GNMT翻译系统则对整个句子进行分析,将减少55%-85%的机翻错误,并且系统还会自行在翻译中进行学习和训练,并使翻译水平获得进一步提升. 目

哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

▲ 内容预览: 哈佛大学神经机器翻译系统 OpenNMT 新版本发布 癌症检测突破!谷歌深度学习算法的乳腺癌检测准确率超病理科大夫 两大 AI 平台联手!IBM Watson 与 Salesforce"爱因斯坦"进行对接 布朗大学人机交互新算法,让 AI 学会提问 每日推荐阅读 博弈论与深度学习 █  哈佛大学神经机器翻译系统 OpenNMT 新版本发布 OpenNMT 是哈佛大学 NLP 研究小组去年年底开源的产品级翻译工具,基于 Torch/Pytorch,一经发布便被谷歌采用,是

号称要砸翻译饭碗,神经机器翻译哪家强?

前段时间,一则新闻几乎刷遍了整个网络.Google新发布了神经机器翻译(GNMT:Google Neural Machine Translation)系统,并称该系统使用了当前最先进的训练技术,能够实现到当下机器翻译质量上最大的提升. 有从事翻译职业的网友甚至这样形容: 作为翻译看到这个新闻的时候,我理解了18世纪纺织工人看到蒸汽机时的忧虑与恐惧. 这种看法未免有点杞人忧天.尤其是在业内专家看来,机器翻译的效果还远未达到取代人类专家翻译的水平.实际上,谷歌此次应用的技术并非最新的"黑科技&quo

F8 2017 | 技术负责人为你解析 Facebook 神经机器翻译

该讲座主题为 Facebook 机器翻译的两代架构以及技术挑战. 雷锋网消息:在昨日的 F8 会场,该讲座吸引了众多开发者到场,主讲者是 Facebook 语言翻译部门技术负责人 Necip Fazil Ayan. Necip Fazil Ayan 首先介绍了 Facebook 翻译业务的使命和愿景,以及对机器翻译的应用. 使命与愿景 Necip Fazil Ayan:Facebook 希望推动建立一个真正的全球社区,即"连接世界":每个人都能与全世界任意国家的人.任意语言内容自如交互

阿里云PAI将神经机器翻译训练效率提升5倍

近两年,神经机器翻译(NMT: Neural Machine Translation)技术异军突起,翻译质量取得大幅提升.但不幸的是,NMT 系统的训练成本非常高,限制了这一技术的大范围使用. 阿里翻译团队通过使用阿里云机器学习平台PAI实现了模型训练效率5倍的飞跃,并已应用在英俄电商翻译质量优化项目中. 1,什么是NMT NMT一词的出现要追溯到2014年9月1号,加拿大蒙特利尔大学Bengio教授研究组在开放论文网站arxiv上发布了他们最新的研究成果『neural machine tran

《中国人工智能学会通讯》——2.28 端到端神经机器翻译

2.28 端到端神经机器翻译 端 到 端 神 经 机 器 翻 译(End-to-End NeuralMachine Translation)是从 2013 年兴起的一种全新机器翻译方法,其基本思想是使用神经网络直接将源语言文本映射成目标语言文本.与统计机器翻译不同,不再有人工设计的词语对齐.短语切分.句法树等隐结构(latent structure),不再需要人工设计特征,端到端神经机器翻译仅使用一个非线性的神经网络便能直接实现自然语言文本的转换. 英 国 牛 津 大 学 的 Nal Kalch

斯坦福大学 NLP 组开放神经机器翻译代码库

近日,斯坦福大学自然语言处理组(Stanford NLP)发布了一篇文章,总结了该研究组在神经机器翻译(NMT)上的研究信息.在这篇文章中,他们还放出了在多种翻译任务上(比如英德翻译和英语-捷克语翻译)实现了当前最佳结果的代码库(codebase).除此之外,「为了鼓励再现和增加透明」,他们还放出了他们用于训练模型的处理过的数据以及可以通过他们的代码库使用的预训练好的模型. 参与成员: Christopher D. Manning(斯坦福大学计算机科学和语言学教授) Minh-Thang Luo

六大看点MOTO谷歌机王Droid真机解析

腾讯数码讯说起摩托罗拉即将发布的新机"Droid"大家或许会感觉陌生一些,但如果我们告诉它的另外一个名字"Sholes",那么无疑你会觉得熟悉了许多.日前,在美国运营商Verizon Wireless放出专题网页和宣传视频中露出冰山一角之后,这款将会在本月30日发布的摩托罗拉谷歌新机终于以真机 曝光的形式,再次出现在人们的视线中. 对于这款摩托罗拉谷歌手机,之前频繁的曝光已经让人们对该机的主要特色有了一定程度的了解.而从最新亮相的真机图片来看,即将正式发布的&quo