本公开涉及音频识别相关技术领域，具体的说，是涉及一种用于音频场景分类的数据扩充方法及装置。
背景技术：
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
音频场景分类是指通过音频感知周围环境，其在近十年得到广泛关注。音频场景分类具有广阔的应用前景，可广泛用于人机交互、智能穿戴和上下文感知计算等。近几年，随着深度学习技术的快速发展，传统的分类模型逐渐被深度神经网络所取代，深度神经网络提取的信号特征具有更强的表达能力，因而能获得更好的分类性能，但是深度神经网络的参数众多，需要大量的训练数据才能获得良好的泛化能力，在训练数据量不足时会因为过拟合而导致分类性能下降。音频场景的类内样本通常会存在较大差异，比如，对于公园场景，在周末和工作日所采集的样本就会差别很大。为了使采集的音频场景样本覆盖各种情形下的音频场景特性，音频样本往往要采取在不同位置、不同时间段分别进行采集，这就意味着数据的采集会耗费大量的时间和精力，因而导致采集的音频场景训练样本相对于深度神经网络庞大的参数来说往往显得不足。
为了解决音频领域深度神经网络的训练样本不足问题，目前已经提出了不少数据扩充办法，比如音高偏移法、时间拉伸法、添加左声道信息法和添加右声道信息法等等。发明人发现，目前常用的这些数据扩充方法存在以下问题：
1)音高偏移法、时间拉伸法在不同的数据集上具有不稳定性，其在某些数据集上新生成的数据能很好地帮助提高网络的分类性能，但是在其它的数据集上，其新生成的数据对分类性能的提高不大，甚至有的反而会引起分类性能的下降。实验发现，在采用vgg网络作为分类模型时，在国际dcase挑战赛的音频场景识别数据库的evaluation数据集上，音高偏移法和时间拉伸法能很好地帮助提高网络的分类性能，而在development数据集上，音高偏移法和时间拉伸法会引起分类性能下降。
2)添加左声道信息法和添加右声道信息法在不同的网络结构上具有不稳定性，其新生成的数据对于某些网络结构能很好地帮助提高网络的分类性能，但是对其它的网络结构，其对分类性能的提高不大，甚至有的反而会引起分类性能的下降；实验发现，添加左声道信息法和添加右声道信息法在vgg网络结构上能很好地帮助提高网络的分类性能，但是在lstm网络结构上，添加左声道信息法会引起分类性能的下降，而添加右声道信息法虽然对网络的分类性能有所提高，但提高地很少。
3)添加左声道信息法和添加右声道信息法只适用于多声道数据集，对于单声道数据集，由于数据集内的音频数据没有左声道信息和右声道信息，因而添加左声道信息法和添加右声道信息法无法应用于单声道数据集。
因此，现有的数据扩充方法在不同的网络结构上或者在不同的数据集上具有不稳定性，不具有普适性，不能很好的提高分类性能。
技术实现要素：
本公开为了解决上述问题，提出了一种用于音频场景分类的数据扩充方法及装置，该数据扩充方法基于隐狄利克雷分配模型(latentdirichletallocation，lda)挖掘音频文档中的关键音频事件，并统计每个音频场景类中关键音频事件的一系列概率分布，最后根据统计得到的概率分布生成新数据。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了一种用于音频场景分类的数据扩充方法，包括如下步骤：
获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；
采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
针对每类音频场景，分别统计关键音频事件的概率分布；
根据关键音频事件的概率分布生成新音频文档即为新数据。
一个或多个实施例提供了一种用于音频场景分类的数据扩充装置，包括：
获取模块：用于获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；
第一提取模块：用于采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
概率分布统计模块：用于针对每类音频场景，分别统计关键音频事件的概率分布；
新数据生成模块：用于根据关键音频事件的概率分布生成新音频文档即为新数据。
本公开还提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
本公开还提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
与现有技术相比，本公开的有益效果为：
(1)本公开设计的数据扩充方法由训练集中的关键音频事件和非关键音频事件根据训练集中关键音频事件的概率分布生成新数据，用以扩充训练集。本公开设计的数据扩充方法生成的新数据能很好地模拟真实环境下的音频场景，因而生成的新数据非常有效，在扩充到训练集后能有效地提高模型的分类性能。
(2)本公开设计的数据扩充方法在不同的网络结构上具有良好的稳定性，其新生成的数据对于不同的网络结构都能很好地帮助提高网络的分类性能。
(3)本公开设计的数据扩充方法在不同的数据集上具有良好的稳定性，其在不同的数据集上生成的新数据都能很好地帮助提高网络的分类性能。
(4)与目前在音频领域中常用的添加左声道信息法、添加右声道信息法等数据扩充方法相比，本公开设计的数据扩充方法可以生成多于原始训练数据两倍数据量的新数据，使用户可以根据需求生成所需数据量的新数据。
(5)本公开提出的基于lda提取音频流中的关键音频事件的方法适用性广，其不但可以用于生成新数据，还可以用于音频主题分析、音频摘要等众多音频分析领域。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的一种用于音频场景分类的数据扩充方法流程图；
图2是本公开实施例1的提取关键音频事件和非关键音频事件的过程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式中公开的技术方案中，如图1所示，一种用于音频场景分类的数据扩充方法，包括如下步骤：
s1、获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；可以采用音频数据采集器采集的数据。
s2、采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
s3、针对每类音频场景，分别统计关键音频事件的概率分布；
s4、根据关键音频事件的概率分布生成新音频文档即为新数据。
下面对上述步骤进行具体说明。
1、提取关键音频事件和非关键音频事件
提取关键音频事件和非关键音频事件的过程图如图2所示，主要包括以下步骤：(1)生成音频字；(2)基于lda提取音频字的主题分布和音频文档的主题分布；(3)提取关键音频事件和非关键音频事件。
(1)生成音频字
在一些实施例中，可选的，生成音频字的步骤包括：
101)、将训练集中的每个音频文档进行分帧处理；可以按照设定的帧长和设定的帧移对音频文档进行分帧处理，如帧长设定为40毫秒，帧移设定为20毫秒。
102)、提取每个帧的频谱特征数据；可以对每个帧提取40维的log-mel频谱特征；
103)、将训练集中所有帧的频谱特征数据进行聚类，聚类得到m个簇，将簇中心作为音频字，m个簇共得到m个音频字，此m个音频字组成音频字典，将每个簇中的帧表示成该帧所在簇对应的音频字。
(2)基于lda提取音频字的主题分布和音频文档的主题分布；
201)根据获得的音频字，统计每个音频文档中每个音频字的出现次数，建立“音频文档-音频字”共现矩阵；
可选的，具体的可以采用建立音频字的直方图方法，假设训练集中共有n个音频文档，在生成音频字以后，训练集中的每个音频文档都是由一系列音频字组成的。针对每个音频文档，统计音频字的直方图；将训练集中所有音频文档的音频字直方图按列堆叠起来，组成“音频文档-音频字”共现矩阵d：
其中，d表示训练集中的第d个音频文档(d＝1，…，n)，wi表示第i个音频字(i＝1，…，m)，
202)设定主题的个数为k，根据共现矩阵d，通过lda学习得到每个音频文档在每个主题上的概率值，从而获得音频文档的主题分布；根据共现矩阵d，通过lda学习得到每个主题在每个音频字上的概率值，根据每个音频文档在每个主题上的概率值和每个主题在每个音频字上的概率值，获得音频字的主题分布；
设定主题的个数为k，通过lda学习每个音频文档在每个主题上的概率值和每个主题在每个音频字上的概率值，分别组成“音频文档-主题”矩阵θ和“主题-音频字”矩阵
其中，表示
音频字wi在第k(k＝1，…，k)个主题上的概率值
音频字wi(i＝1，…，m)的主题分布即为
(3)提取关键音频事件和非关键音频事件
具体包括如下步骤：
301)设定相似度阈值，计算音频字的主题分布和音频文档的主题分布的相似度；
302)对于音频文档d，(d＝1，…，n)，将与该音频文档的相似度大于设定的阈值的音频字作为该音频文档的关键音频字，其余的音频字为该音频文档的非关键音频字；
303)对于音频文档d，(d＝1，…，n)，其内连续的关键音频字组成关键音频事件，其内连续的非关键音频字组成非关键音频事件。
本实施例中，可选的，对于每个音频文档d(d＝1，…，n)，通过下式求音频文档d的主题分布θ(d)和音频字wi(i＝1，…，m)的主题分布
设定相似度阈值t，将满足
2、针对每类音频场景，统计关键音频事件的概率分布
步骤s3中，可选的，可以采用归一化直方图的方法统计关键音频事件的概率分布，所述关键音频事件的概率分布至少包括：针对每类音频场景，关键音频事件出现次数的概率分布，在每一出现次数下关键音频事件出现位置的概率分布和在每一出现次数下关键音频事件持续时长的概率分布。
在一些实施例中，关键音频事件出现位置可以以关键音频事件发生的起始位置到所在音频文档的起始位置之间的距离，作为关键音频事件的出现位置。
本实施例中，对于训练集中的每类音频场景，收集同一音频场景内所包含的每个音频文档中的关键音频事件片段和非关键音频事件片段，并记录音频文档内每个关键音频事件的出现位置和持续时长，记录同一音频场景内每个音频文档中关键音频事件的出现次数。
通过归一化直方图的方法统计同一音频场景内关键音频事件出现次数的概率分布p(num)，num表示关键音频事件的出现次数。
同一音频场景内，收集关键音频事件出现次数相同的音频文档，通过归一化直方图的方法统计同一音频场景内在每一出现次数下，关键音频事件出现位置的概率分布p(loc|num)，loc表示关键音频事件的出现位置。
收集同一音频场景内关键音频事件出现次数相同的音频文档，通过归一化直方图的方法统计同一音频场景内在每一出现次数下，关键音频事件持续时长的概率分布p(dur|num)，dur表示关键音频事件的持续时长。
3、对于每类音频场景，根据概率分布生成新数据
对于每类音频场景，根据所述概率分布生成新音频文档，具体为：
31、根据概率分布，通过轮盘赌方法，获得待生成新音频文档中关键音频事件的出现次数、每个关键音频事件的出现位置和持续时长；
32、根据获得的出现次数、出现位置及持续时长，针对每个关键音频事件的出现位置和持续时长，选取该类音频场景内持续时长与获取的持续时长最相近的关键音频事件，置于新音频文档中对应的关键音频事件的出现位置处；
33、根据新音频文档中两个关键音频事件之间的间隔，从该类音频场景内的非关键音频事件中选择持续时长最接近间隔时长的片段，置于间隔位置处；
34、如果新音频文档中第一个关键音频事件的出现位置值不等于0，则从该类音频场景内的非关键音频事件片段中，选取持续时长最接近第一个关键音频事件的出现位置值的非关键音频事件片段，放置在第一个关键音频事件出现位置前面的位置。
本实施例中，对于每类音频场景，根据其类内关键音频事件出现次数的概率分布p(num)、在每一出现次数下关键音频事件出现位置的概率分布p(loc|num)和在每一出现次数下关键音频事件持续时长的概率分布p(dur|num)，按照以下步骤生成新音频文档：
(1)根据概率分布p(num)，通过轮盘赌方法生成关键音频事件的出现次数numi，numi表示生成的第i个新音频文档中关键音频事件的出现次数；
(2)根据概率分布p(loc|numi)，通过轮盘赌方法生成关键音频事件的出现位置locj(j＝1，…，numi)，locj表示新生成的音频文档中第j个关键音频事件的出现位置；
(3)根据概率分布p(dur|numi)，通过轮盘赌方法生成关键音频事件的持续时长durj(j＝1，…，numi)，durj表示新生成的音频文档中第j个关键音频事件的持续时长；
(4)对于每个关键音频事件j(j＝1，…，numi)，从类内的关键音频事件片段中选取持续时长最接近durj的片段，将其置于locj位置处；
(5)对于相邻的两个关键音频事件之间的间隔，从类内的非关键音频事件片段中选择持续时长最接近间隔时长的片段，将其置于间隔位置处；
(6)对于第一个关键音频事件，如果其出现位置loc1≠0，则从类内的非关键音频事件片段中选择持续时长最接近loc1值的片段，将其置于第一个关键音频事件的前面；
(7)重复步骤(1)～(6)以生成更多的新音频文档。
实施例2
本实施例提供一种用于音频场景分类的数据扩充装置，包括：
获取模块：用于获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；
第一提取模块：用于采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
概率分布统计模块：用于针对每类音频场景，分别统计关键音频事件的概率分布；
新数据生成模块：用于根据关键音频事件的概率分布生成新音频文档，生成的新音频文档即为新数据。
实施例3
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。
本公开所提出的电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(smartphone，如android手机、ios手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元cpu，该处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
技术特征：
1.一种用于音频场景分类的数据扩充方法，其特征是，包括如下步骤：
获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；
采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
针对每类音频场景，分别统计关键音频事件的概率分布；
根据关键音频事件的概率分布生成新音频文档即为新数据。
2.如权利要求1所述的一种用于音频场景分类的数据扩充方法，其特征是：采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件的方法，包括：
根据训练集中音频数据生成音频字；
根据获得的音频字，统计每个音频文档中每个音频字的出现次数，建立“音频文档-音频字”共现矩阵；
设定主题的个数，根据共现矩阵，通过lda方法学习得到每个音频文档在每个主题上的概率值，从而获得音频文档的主题分布；根据共现矩阵，通过lda方法学习得到每个主题在每个音频字上的概率值；根据每个音频文档在每个主题上的概率值和每个主题在每个音频字上的概率值，获得音频字的主题分布；
通过计算音频字的主题分布和音频文档的主题分布的相似度，获得训练集中的关键音频事件和非关键音频事件。
3.如权利要求2所述的一种用于音频场景分类的数据扩充方法，其特征是：根据训练集中音频数据生成音频字，具体为：
将训练集中的每个音频文档进行分帧处理；
提取每个帧的频谱特征数据；
将训练集中所有帧的频谱特征数据进行聚类，聚类得到m个簇，将簇中心作为音频字，m个簇共得到m个音频字，m个音频字组成音频字典，将每个簇中的帧表示成该帧所在簇对应的音频字；
或者
根据每个音频文档在每个主题上的概率值和每个主题在每个音频字上的概率值，获得音频字的主题分布，具体为：
其中，
4.如权利要求2所述的一种用于音频场景分类的数据扩充方法，其特征是：通过计算音频字的主题分布和音频文档的主题分布的相似度，获得训练集中的关键音频事件和非关键音频事件的方法，具体为：
设定相似度阈值，计算音频字的主题分布和音频文档的主题分布的相似度；
对于音频文档d，将与该音频文档的相似度大于设定的阈值的音频字作为该音频文档的关键音频字，其余的音频字为该音频文档的非关键音频字；
对于音频文档d，音频文档d内连续的关键音频字组成关键音频事件，音频文档d内连续的非关键音频字组成非关键音频事件。
5.如权利要求1所述的一种用于音频场景分类的数据扩充方法，其特征是：针对每类音频场景，分别统计关键音频事件的概率分布：采用归一化直方图的方法统计关键音频事件的概率分布。
6.如权利要求1所述的一种用于音频场景分类的数据扩充方法，其特征是：所述关键音频事件的概率分布至少包括：针对每类音频场景，关键音频事件出现次数的概率分布，在每一出现次数下关键音频事件出现位置的概率分布和在每一出现次数下关键音频事件持续时长的概率分布。
7.如权利要求1所述的一种用于音频场景分类的数据扩充方法，其特征是：对于每类音频场景，根据所述关键音频事件的概率分布生成新音频文档，具体为：
根据关键音频事件的概率分布，通过轮盘赌方法，获得待生成新音频文档中关键音频事件的出现次数、每个关键音频事件的出现位置和持续时长；
根据获得的出现次数、出现位置及持续时长，针对每个关键音频事件的出现位置和持续时长，选取该类音频场景内持续时长与获取的持续时长最相近的关键音频事件，置于新音频文档中对应的关键音频事件的出现位置处；
根据新音频文档中两个关键音频事件之间的间隔，从该类音频场景内的非关键音频事件中选择持续时长最接近间隔时长的片段，置于间隔位置处；
如果新音频文档中第一个关键音频事件的出现位置值不等于0，则从该类音频场景内的非关键音频事件片段中，选取持续时长最接近第一个关键音频事件的出现位置值的非关键音频事件片段，放置在第一个关键音频事件出现位置前面的位置。
8.一种用于音频场景分类的数据扩充装置，其特征是，包括：
获取模块：用于获取训练集；所述训练集包括多个音频文档以及音频文档所属的音频场景；
第一提取模块：用于采用基于lda的方法提取训练集中的关键音频事件和非关键音频事件；
概率分布统计模块：用于针对每类音频场景，分别统计关键音频事件的概率分布；
新数据生成模块：用于根据关键音频事件的概率分布生成新音频文档即为新数据。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
技术总结
本公开提出了一种用于音频场景分类的数据扩充方法及装置，该数据扩充方法首先基于LDA挖掘音频文档中的关键音频事件；其次，对每类音频场景，分别统计类内关键音频事件出现次数的概率分布、在每一出现次数下关键音频事件出现位置的概率分布以及在每一出现次数下，关键音频事件持续时长的概率分布；最后，根据统计得到的概率分布生成新音频文档。本公开提出的数据扩充方法由关键音频事件和非关键音频事件根据训练集中关键音频事件的概率分布生成新数据，这种方法生成的新数据能很好地模拟真实环境下的音频场景，因而能有效地提高模型的分类性能，在不同的网络结构下和不同的数据集上都具有良好的稳定性。
技术研发人员：冷严;赵玮玮;林婵;齐广慧;王荣燕;李登旺;华庆
受保护的技术使用者：山东师范大学
技术研发日：.11.08
技术公布日：.02.28
