《中国人工智能学会通讯》——7.2 基于深度学习的自然语言处理

7.2 基于深度学习的自然语言处理

深度学习旨在模拟人脑对事物的认知过程，一般是指建立在含有多层非线性变换的神经网络结构之上，对数据的表示进行抽象和学习的一系列机器学习算法。该方法已对语音识别、图像处理等领域的进步起到了极大的推动作用，同时也引起了自然语言处理领域学者的广泛关注。

如图 1 所示，深度学习为自然语言处理的研究主要带来了两方面的变化，一方面是使用统一的分布式（低维、稠密、连续）向量表示不同粒度的语言单元，如词、短语、句子和篇章等；另一方面是使用循环、卷积、递归等神经网络模型对不同的语言单元向量进行组合，获得更大语言单元的表示。除了不同粒度的单语语言单元外，不同种类的语言，甚至不同模态（语言、图像等）的数据都可以通过类似的组合方式，表示在相同的语义向量空间中；然后通过在向量空间中的运算来实现分类、推理、生成等各种能力，并应用于各种相关的任务之中。下面分别对这两方面加以详细的阐述。