Crowdsourcing and Validating Event-focused Emotion Corpora for German and English
一个德英双语的 parallel sentiment (emotion) analysis数据集. 情感分类模型可以直接应用于另一种语言上(通过翻译模型翻译),performance 不会下降。
Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization (IJCAI 2019)
一个可以跳过单词的LSTM,在文本分类上有效果. 类似的:Skip-LSTM, Skim-LSTM
An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models (NAACL 2019)
在将LM transfer 到其他task时加一个 LM 的 loss,声称可以解决 catastrophic forgetting (灾难性遗忘)。训练 trick 比较多….
Learning to Rank for Plausible Plausibility
对 plausibility (like NLI task) cross-entropy loss 不是很好。使用 margin-based loss 更好。
Every child should have parents: a taxonomy refinement algorithm based on hyperbolic term embeddings (ACL 2019)
Poincaré Embeddings for Learning Hierarchical Representations (NIPS 2017)
利用庞加莱圆盘模型训练有结构关系的 embedding。事实上我没看懂…..
Generating Multi-Sentence Abstractive Summaries of Interleaved Texts
总结归纳 Interleaved Texts (比如qq群聊)里的 topic.
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
从 NMT 中归纳 constituent tree,类似于 A Structural Probe for Finding Syntax in Word Representations 从bert中归纳tree 。不过本文是从 attention head 中归纳。
Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies (ACL 2019)
NMT transfer 的问题。在没有sharing vocabularies 的情况下,transfer 一个 pretrain 的 NMT model 到一个 low source 的语言上。1. word translation, 将 target language 映射到 parent language 的 space 里。2. train parent NMT 时打乱单词order,防止过拟合,有利于encoder 适应新语言的syntax。3. 在 child training 时重用parent language pair, 防止训练数据分布突然变化。
Evaluating Discourse in Structured Text Representations (ACL 2019)
以 Lapate 的 Learning Structured Text Representations为例,discourse 上用 structured attention 学出来的 latent tree structure 跟人类的标注没有任何相似,Structure Attention 在此任务上没用,而且有害。
An Empirical Study on Crosslingual Transfer in Probabilistic Topic Models
一篇 survey 有关14 个topic model 哪个更加有效果,分别可以有利于什么task.
A Survey of Reinforcement Learning Informed by Natural Language (IJCAI 2019)
RL 跟 NLP 结合的 survey. (还没看)
Topic-Aware Neural Keyphrase Generation for Social Media Language (ACL 2019)
Neural Keyphrase Generation via Reinforcement Learning with Adaptive Rewards (ACL 2019)
都是做 keyphrase generation 的。第一篇做 social media 中的提取,利用了neural topic model 联合学习了topic。第二篇是用RL做 document level 的,还提出了一个与 wiki konwledge base 相结合的评价方式。
Open-Domain Targeted Sentiment Analysis via Span-Based Extraction and Classification (ACL 2019)
可能要仔细看。目前感觉比较trival,主要是利用了bert,先label出candidate target,然后套一个分类器。
Keeping Notes: Conditional Natural Language Generation with a Scratchpad Mechanism (ACL 2019)
当代 auto-encoder 是用 encode 生成的 $hi$ 和 attention 得到 $e_i$,然后decoder 成 sentence。Scratchpad Mechanism 利用上一个时刻的 $e{i-1}$ 来 update $h_i$。思路非常简单,实现容易,效果还不错。
Antonym-Synonym Classification Based on New Sub-space Embeddings (AAAI 2019)
把单词非线性映射到两个空间上:同义词空间,反义词空间。考虑了同义词的两个性质:对称性,传递性;反义词的两个性质:对称性,反式传递性来构建loss。考虑是否可以跟我们之前讨论的在不同topic下具有不同的同义,反义性质做结合?