语音合成（TTS)论文优选：Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Ne

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

本篇文章是北京航空航天大学计算机科学与工程学院和中国微软在发表的文章，主要提出了stepwise monotonic attention使语音合成系统更加鲁棒。具体的文章链接/pdf/1906.00672.pdf

（接下来，开始整理attention的文章，逐个击破）

1背景

seq2seq的模型的语音合成系统为当今的主流模式，其attention模块决定了输入和输出的对齐质量，从而影响合成的语音好坏，尤其存在skipping,repeating and attention collapse的问题。本文提出了一个好的attention评价标注有三个：1）locality:输出的帧都能映射到相应的输入；2）monotonicity:单调性; 3)completeness:完整性，每个输入都有相应的输出。现在的提出的attention的在第一点和第2点上进行设计，但没有文章在第三点上进行设计。本文设计了满足以上三个条件的attention，使语音合成系统更加鲁棒。

2详细设计

先看一下常用的attention的计算公式1，2，3。先求出上一帧decoder的隐状态和输入的energy，然后使用softmax求取aligment，最后求取context vector c，该方案不具有单调性，因此设计的monotonic attention。

monotonic attention使用以上的公式1之后，直接使用sigmoid进行概率值预测p。最后使用bernoulli判断是否对memory entry进行前移。当然这种方法使用抽样后不能够后向传播，因此训练时候使用类似上边的soft attention，其对齐参数和预测的概率之间的公式转化为5。该attention具有单调性但不能保证满足completeness。

本文在monotonic 基础上添加限制：每次memory entry移动只能最多移动一步，则对齐参数和预测的概率之间的公式转化为7。

以上attention的更直观的如图1所示，一目了然。

3实验

实验对比了几种attention:1)baseline:tacotron location sensitive attention) 2) GMM:GMM attention 3) Monotonic attention:MA hard & MA soft 4) Forward attention: FA+TA & FA w/o TA 5) stepwise attention: SMA hard & SMA soft。

table 1的结果是和baseline进行偏爱度评测，由结果可知SMA的效果比baseline好，baseline比MA好。tabel 2是和SMA soft比，则SMA比GMM好很多，但比FA+TA差一些。图2 显示SMA soft比hard刻画更好。

图3和table3显示SMA的效果最好，鲁棒性最好。图4是使用out-of-domain语句测试对齐，SMA最好。

4总结

本文设计了一种满足locality， monotonicity和completeness的attention,使合成系统更加鲁棒。