人工智能时代前沿技术社区

首页 > 人工智能 > 热点

NLP的新进展和应用

在人工智能大发展的时期,NLP(Natural Language Processing)自然语言处理作为人工智能的一个领域,近年来也取得一定的进展,面对信息时

作者: | 2018-01-26 17:27:16

在人工智能大发展的时期,NLP(Natural Language Processing)自然语言处理作为人工智能的一个领域,近年来也取得一定的进展,面对信息时代下的大量文本数据,自然语言处理的应用就显得十分重要。为此,飞马网邀请到猎聘网首席数据官-单艺,于1月25日晚上进行线上直播,分享了关于NLP的新进展和应用方面的知识,以下是单艺老师的分享实录。

微信图片_20180126174918.jpg

一.什么是NLP?

在深入探讨NLP之前,我们必须充分认识NLP的含义。单艺老师告诉我们,NLP是指在一定的环境下,通过算法让计算机能够学习、理解和运用人类语言。

单艺老师表示,尽管现在人工智能较以前发展很多,但我们还没有达到机器拥有和人相同的基础体验的阶段,机器无法像人一样理解和运用语言。目前,像对话系统、分类系统、聊天机器人等系统,已经有比较好的理解和运用人的语言的能力,这相对而言是一种进步。

二.NLP的发展史

(1)40-50年代(奠基),图灵的计算理论和香农的信息论

(2)50-70年代,符号学派(语言可以通过完整的语言体系概括和总结)VS统计学派(语言是某种随机现象,有规律,但不能用规则描述)

(3)70-83,研究和应用第一次爆发(自动翻译出现并应用,早期对话系统出现)

(4)83-93FSM的二次热潮(有线自动机)

(5)94-99,统计方法的普及

(6)00-12,机器学习成为主流

(7)13-至今,神经网络/深度学习时代

三. NLP的基本任务

自然语言处理经过60多年的发展,领域明显扩大,但我们要想熟练应用NLP,首先就要明确NLP的一些基本任务,单艺老师向我们介绍了几种最常见的任务。

主要有以下四种:

分类(Classification):

·文本分类、情感分析

·应用:文档分类、信息过滤、标签生成

匹配(Matching):

·语义相似计算、同义词/近义词

·应用:检索、排序、过滤、聚类、基础特征

结构化预测(Structured Prediction):

·NER、PoS Tagging、Semantic Role Labeling、Parsing

·应用:分词、语法分析、信息提取

转换/翻译(Transform/Translate):

·机器翻译、语音识别、摘要

·应用:机器翻译、语音助手、自动摘要

四. 表达的问题

大家都知道,机器不是天生就具有学习和预测的能力,我们需要把要做的事情和外部世界的信息传输给机器,而在这个过程中,用机器学习作自然语言处理就必须要过第一道坎-表达的问题。

幻灯片6.jpg

 

庞大的词汇量使得此方法出现许多问题,如表达稀疏、信息密度低、存储困难等,最重要的问题是词与词之间无关联,那么该如何去解决呢?为了增加语义上的关联性,就要压缩,即所谓的嵌入,把高维空间的信息压缩到低维空间中。

幻灯片7.jpg

 

在嵌入中,如何得到分布式表达?主要有两种方法:

幻灯片8.jpg

 

五.基本模型

在分享的最后阶段,单艺老师向我们介绍了几种相对比较成熟经典的NLP基本模型,主要是针对四个基本任务,详述了以下14个模型,希望对大家的工作会有所帮助。

1.分类

(1)基于CNN的分类

幻灯片9.jpg

2)基于RNN的分类

幻灯片10.jpg

3)基于RCNN的分类

幻灯片11.jpg

4)基于Attention的分类

幻灯片12.jpg

2.匹配

1)匹配:Neural BoW

幻灯片13.jpg

(2)WMD

幻灯片14.jpg

(3)匹配: DSSM

幻灯片15.jpg

(4)匹配:Siamese Network

幻灯片16.jpg

(5)匹配:DeepMatch

幻灯片17.jpg

6)匹配:细粒度的模型

幻灯片18.jpg

3.结构化预测

1)结构化预测:BiLSTM+CRF

幻灯片19.jpg

(2)结构化预测:Dilated CNN + CRF

幻灯片20.jpg

4.转换/翻译

1)转换/翻译:Encoder-Decoder

幻灯片21.jpg

(2)转换/翻译:Attention

幻灯片22.jpg

总结和展望:

·NLP全面进入神经网络/深度学习时代

·分布式表达(嵌入)是进入这个新时代的钥匙

·在各项基本任务中,新的模型带来了很多新的突破

·围绕特定任务,需要构造和优化专门的网络结构

·从深度学习到可微架构或者可微编程

·整合已有人类知识是未来的重要方向

想详细了解直播内容的小伙伴们,可以关注飞马网服务号,点击菜单栏飞马直播即可进行学习。

服务号.jpg