声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

本篇文章是google在.04.22更新的文章，主要提出了基于energy_base的dynamic convolution attention，使语音合成系统可以对长句子进行推理。文章的具体链接：/pdf/1910.10288.pdf

1背景

现在的语音合成系统虽然可以合成较高音质音频，但基于attention的对齐依然存在许多问题，比如使用短句子语料训练模型，该模型无法进行长句子的推理。本文对比了两类attention：location-relative gmm-based attention和additive energy-based attention，并提出了一种新的attention:dynamic convolution attention(DCA)，实验结果显示，该attention可以合成较长的句子。

2详细设计

encoder-attention-decoder的模型通用的公式表达为公式1-4：先使用encoder对输入进行处理，输出固定长度的特征h。对于decoder的每一帧输出，先使用attention求取对特征h的对齐，然后求取context vector。最后使由decoder输出该帧。其中attention决定了输入和输出的对齐情况。

接下来介绍两类attention：location-relative gmm-based attention和additive energy-based attention。

其中，gmm-based 基础的attention为公式5-6，参数w,∆,σ可以使用MLP进行估算，如公式7所示。最终的参数计算如table1所示，不同函数的转换为不同版本的gmm-attention。另外对v1和v2的∆i=1和σi=10的初始值设置则标注为版本v1b和v2b。

additive energy-based mechanisms的attention的公式统一表示为公式8-12。其中Wsi 和 V hj分别为query/key的计算，Ufi,j为历史对齐的累计，Tgi,j 和pi,j 为本文提出的dynamic convolution attention添加的两个部分，其值都是从decoder的状态求取，其结构都是卷积结构。对公式8的每个部分是否存在分为了table 2展示的几个版本attention。（其中本文的dca的图我使用tensorboard看了一下，结构从图和代码中看较为简单明了，这需要使用者去研究代码，其中图中1，2，3则为Ufi,j，Tgi,j和pi,j）。其中pi,j的prior filter对输入encoder的分布如图一所示。

3实验结果

首先对比一下这几种attention的收敛速度和收敛情况，结果如图2所示，在lessac数据集中，DCA和gmmv2b的效果最好，其它版本gmm都不太好。对数据集LJ上，location-sensitive效果较好，DCA,GMMv2b只存在一次对齐失败（本文说的原因是由于文本较长导致），但收敛速度比location-sensitive较快。

接下来，对比一下mos值，table 3可以看出，DCA和其它版本的效果相当，没有造成MOS下降。

最后比较长句子的CER(character error rate)，由图3可以看出，gmmv2b和DCA的错误率不管合成句子长短都很低。

4总结

本文提出了一种新的attetion:dynamic convolution attention，该种attention可以合成较长的句子。