自然语言处理顶级会议即将召开,10大优秀论文出炉

自然语言处理领域的顶级会议 ACL 2016 即将在德国柏林召开。此次大会共选出了以下 10 篇优秀论文进行讲演。

计算语言学学会(The Association for Computational Linguistics,ACL)旗下的 ACL 年会是国际上最具影响的计算语言学及自然语言处理学术会议。今年的 ACL 会议将于 8 月 7 日至 12 日在德国柏林的洪堡大学(Humboldt University)召开。

如同往届一样,ACL 2016 除了主会之外,还包括 poster sessions,教学讲座,研讨会以及演示环节。其中,大会选出了以下 10 篇优秀论文。

论文 1:对 CNN 或《每日邮报》阅读理解任务的彻底检查(A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task)

作者:Danqi Chen、 Jason Bolton、Christopher D. Manning

摘要:让一台计算机理解文档然后能回答理解问题,是自然语言处理中悬而未决的核心目标。这个问题可以通过机器学习的系统解决,但阻碍来自于人类注释数据的有限可用性。Hermann 等人(2015)通过配对 CNN 和《每日邮报》的新闻和他们总结的重点创建了超过 100 万个训练样本,来解决这个问题,并且展示了经过训练的神经网络在这个任务上能有不错的表现。本论文中,我们对这一新的阅读理解任务进行了彻底检查,主要目标是了解做好这个任务需要什么样的语言深度。我们一方面仔细手动分析了这些问题的一个小子集,另一方面展示了简单精心设计的系统在这两个数据集上可以获得 72.4%和 75.8%的精度,超过当下最好结果 5%,接近了我们认为这个任务能达到的最佳表现了。

论文2:通过交互学习语言游戏(Learning Language Games through Interaction)

作者:Sida I. Wang、Percy Liang、Christopher D. Manning

摘要:我们介绍了一种新的语言学习环境,它和构建适应性的自然语言接口有关。受到维特根斯坦语言游戏(Wittgenstein’s language games)的启发:一个人希望完成某种任务(例如:搭建某种积木结构),但是只能与计算机交互,让计算机完成实际操作(例如:移动所有的红色积木)。计算机最初对语言一无所知,因此必须通过交互从零开始学习,同时人类适当调整计算机的性能。我们创造了一种叫做 SHRDLURN 的积木游戏,并收集了 100 位玩家与计算机的交互。首先,我们分析了人类的策略,发现使用组合型和避免同质化与任务表现是呈正相关的。其次,我们比较了计算机策略,发现在语义分析模型基础上的构建语用学(pragmatics)模型能为更多策略玩家加速学习过程。

论文3:使用用于核回归的字符串度量学习寻找非任意的形式-含义体系性(Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression)(尚未在网上公开)

作者:E.Dario Gutierrez, Roger Levy,Benjamin Bergen

论文4:通过整合基于路径的和分布式的方法改善上下位关系检测(Improving Hypernymy Detection with an Integrated Path-based and Distributional Method)

作者:Vered Shwartz、Yoav Goldberg、Ido Dagan

摘要:在自然语言处理中,理清上下文关系是一项关键任务 ,这一点在一份使用两种互补方法的文献中得到了强调。这两种方法分别是:分布式方法,其监督式的变体是目前最好的任务执行器;基于路径的方法,它只受到少许的研究关注。我们发现,改善后的基于路径的算法——其依赖路径(dependency path)被人们使用递归神经网络进行编码——与分布式方法相比应该能达到理想结果。然后,我们将所用方法延伸为整合基于路径的和分布式的信号,这显著地将此任务上的表现提高到当前最佳的水平。

论文5:将分布式词汇对比整合到词嵌入中以用于反义词-同义词(Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction)

作者:Kim Anh Nguyen、Sabine Schulte im Walde、Ngoc Thang Vu

摘要:我们提出了一个全新的向量表征,它能对比分布式向量来整合词汇,并且能为确定词相似度来加强最突出特征。这个改进的向量显著优于标准模型,跨词类(形容词、名词、动词)区分正反义词的平均精度为 0.66–0.76。此外,我们将词汇对比向量整合进为一个 skip-gram 模型的目标函数。这个全新的嵌入优于 SimLex- 999 中预测词相似性和区分同反义词的最先进的模型。

论文6:针对图像中字幕翻译的多模态枢纽(Multimodal Pivots for Image Caption Translation)

作者:Julian Hitschler, Shigehiko Schamoni,Stefan Riezler

摘要:通过视觉空间中定义的多模态枢纽,我们提出一种方法改善对图像描述的统计机器翻译。其核心观点是在图像数据集中执行图像检索,用目标语言给这些图像添加上字幕,并为翻译输出内容的跨语言重排序使用最相似的图像的字幕。我们的方法不依赖于大量域内并行数据(in-domain parallel data)的可利用性,而是仅依赖于可用的单一语言字幕图像的大数据集和最先进的卷积神经网络来计算图像相似度。我们的实验性评估表明,1 BLEU 的改进超过了强大的基准线。

论文7:利用带逻辑规则的深度神经网络 (Harnessing Deep Neural Networks with Logic Rules)

作者:Zhiting Hu, Xuezhe Ma, Zhengzhong Liu, Eduard Hovy ,邢波

摘要:将深度神经网络和结构化逻辑规则结合起来有望实现灵活性并减少神经模型的不可预测性。我们提出了一种能够使用声明性的一阶逻辑(declarative first-order logic)规则增强多种神经网络的通用框架(如,CNN 和 RNN)。具体来说,我们开发了一种迭代式的蒸馏(distillation)方法,可将逻辑规则的结构化的信息转换成神经网络的权重。我们在一个 CNN 上部署了这一框架来进行情绪分析,还在一个 RNN 上部署了它来进行命名实体识别(named entity recognition)。通过少量高度直观的规则,我们得到了实质性的改善,并实现了相比之前最好系统的最佳或可与之媲美的结果。

论文8:冰岛语中的例子和原因:重构级联语言变化的因果网络(Case and Cause in Icelandic: Reconstructing Causal Networks of Cascaded Language Changes)(尚未在网上公开)

作者:Fermin Moscoso del Prado Martin、Christian Brendel

论文9:用于口语对话系统策略优化的在线主动奖励学习(On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems)

作者:Pei-Hao Su, Milica Gasic, Nikola Mrkšić, Lina M. Rojas Barahona, Stefan Ultes, David Vandyke, Tsung-Hsien Wen, Steve Young

摘要:计算准确的奖励函数的能力是优化通过强化学习的对话策略的关键。在实际应用中,使用特定的用户反馈作为奖励信号往往是不可靠的,而且收集的成本也比较高。如果用户的意图是事先已知的、或离线地预训练一个任务成功的预测器的数据是可用的,那么这个问题可以得到缓解。实际上,这些都不能应用于大部分真实世界的应用。在这里我们提出了一种在线学习框架,可通过使用高斯过程模型的主动式学习(active learning)使对话策略和奖励模型一起得到训练。这个高斯过程运行在以无监督的方式生成的连续空间对话表征上,还使用了一个循环神经网络编码-解码器。实验结果表明:我们提出的框架能够显著降低数据标注成本和缓解对话策略学习中的嘈杂的用户反馈。

论文10:全局标准化的基于过渡的神经网络(Globally Normalized Transition-Based Neural Networks)

作者:Daniel Andor,Chris Alberti, David Weiss, Aliaksei Severyn, Alessandro Presta, Kuzman Ganchev, Slav Petrov 和 Michael Collins

摘要:我们介绍了一个全局标准化的基于过渡的神经网络模型,它达到了目前语音标记、依存句法分析(dependency parsing)和句子压缩的最佳结果。我们的模型是一个在一种特定任务转换系统上运行简单的前馈神经网络,然而却能达到跟卷积模型相当或更好的精确度。其关键的见解基于一个新证据,该证据阐释了标注偏置问题(label bias problem),并表明全局标准化模型可以比局部标准化模型更具表现力。

摘要:我们介绍了一个全局标准化的基于过渡的神经网络模型,它达到了目前语音标记、依存句法分析(dependency parsing)和句子压缩的最佳结果。我们的模型是一个在一种特定任务转换系统上运行简单的前馈神经网络,然而却能达到跟卷积模型相当或更好的精确度。其关键的见解基于一个新证据,该证据阐释了标注偏置问题(label bias problem),并表明全局标准化模型可以比局部标准化模型更具表现力。

论文下载链接:https://pan.baidu.com/s/1cHW0fs#rd 

本文选自:ACL 2016,机器之心编译;

©机器之心,最专业的前沿科技媒体和产业服务平台,每日提供优质产业资讯与深度思考,欢迎关注微信公众号「机器之心」(almosthuman2014),或登录机器之心网站www.jiqizhixin.com  , 查看更多精彩内容。