本发明涉及通信领域，特别涉及一种回声消除的处理方法及系统。
背景技术：
在回声消除技术中回波抑制比与双讲衰减性能是一对相互制约的评估指标，已有的技术中为了达到较好的回声消除程度，往往是以牺牲双讲性能为代价的。
在实时语音通信与voip(voiceoverinternetprotocol，基于ip的语音传输)过程中，通信终端扬声器发出的声音，总会被该终端的麦克风拾取到，若是不处理就发送出去，对方总能听到自己说话的声音；同时若处理不当则会对本端语音造成失真，影响语音的可懂度。在人机交互应用场景中，由于交互终端发出的声音又被麦克风拾取回去，同时拾取了控制者的说话声，若在麦克风拾取信号中不消除交互终端发出的声音，那么交互终端在识别控制者说话声音时将引入很强的干扰，降低了识别的成功率，最终造成交互困难；同样的，若对回声消除程度不加以控制，则会对控制者的语音成分造成缺失，也会影响交互指令的识别与理解。
以手机通信免提模式为例，麦克风采集到的回声在时间轴上的特性如图1所示：横坐标为时间(time)，单位秒(s)，纵坐标为幅度(magnitude)，单位为db(分贝)。回声的产生共源自直达路径(directpath)、前期反射(earlyreflection)与后期混响(latereverberation)三种途径，其中直达路径能量最高；前期反射随时间推移呈线性衰减趋势，时间持续数十毫秒；后期混响能量较弱，很快衰减到噪声水平，持续百毫秒以上。无论是直达声、前期反射或是后期混响，回声成分与远端频域信号总是线性相关的，因此普遍采用自适应滤波器对其进行消除。但根据音频设备的不同，回声拖尾的时间会持续数百毫秒到数秒不等，受复杂度与资源需求的限制，滤波器的阶数不能一味的增加，同时根据自适应滤波器稳态误差的理论瓶颈，通常将20db的回波抑制(decay)比作为自适应滤波器的设计目标，即图中电划线对应的位置，相应的时间长度则换算为滤波器的阶数。基于以上所述，自适应滤波器能消除大部分的回声成分，但仍有部分前期反射与后期混响残留了下来的残留回声，需要对该部分回声做进一步的抑制。
公开号为cn102164210a的专利文件公开了一种时域自适应滤波结合频域非线性处理的方法。其中自适应滤波部分提出了最优步长
公开号为cn104395957b的专利文件公开了一种可重构的回声消除系统，包括回声线性处理模块、非线性回声处理模块与回声泄漏防止模块。其中回声线性处理模块所指为时域(td)或频域(fd)自适应滤波，以fd的nlms(归一化最小均方自适应滤波)为例，采用远近端相关因子
如前述的公开号为cn102164210a与cn104395957b的专利文件中所公开的，现有技术中在对待残留回声处理方面，直接将所有的回声残留均视做非线性成分，采用的方法均是基于一些硬门限判决，得到0/1结果，近而进行强制增益或清零等非线性处理。这类方法其缺点在于完全依赖0/1结果的判决，一旦设定的门限或阈值对于实际场景的覆盖面不够，则会出现大量的回声残留。同时当近端语音与残留回声混合的时候，如双讲应用场景中，现有的回声消除方式会将残留回声一并保留了下来。因此在回声消除与双工性能两个层面上都没有达到较好的效果。
综上可知，现有技术中直接将所有的回声残留均视做非线性成分，针对残留回声常采用估计与抑制的方法加以解决，如基于一些硬门限判决后进行强制增益或清零等非线性处理，由于难以对相关能量做出精准的估计，加之与近端语音频谱上的重合，抑制过程中常出现双讲近端语音衰减或失真的问题。其次在近端有效语音能量较弱的时候会被当作残留回声抑制掉，造成断断续续，影响双工性能。另外，作为公知的方法，自适应滤波用于消除主要能量的线性回声，但在双讲、低信噪比场景下其稳健性受到考验，常面临失调的问题。
技术实现要素：
本发明要解决的技术问题是为了克服现有技术中的直接将所有的残留回声均视做非线性成分，并常采用估计与抑制的方法造成无法对相关能量做出精准的估计，抑制过程中常出现双讲近端语音衰减或失真的缺陷，提供一种能够充分考虑回声消除彻底性的同时兼顾了全双工通信的需求的回声消除的处理方法及处理系统。
本发明是通过下述技术方案来解决上述技术问题：
本发明第一方面提供了一种回声消除的处理方法，包括以下步骤：
基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，所述第一残留信号en(k)包括残留线性回声信号和非线性回声信号；
对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)，所述第二残留信号vn(k)包括所述非线性回声信号；
对所述第二残留信号vn(k)进行处理，以消除所述第二残留信号vn(k)中的所述非线性回声信号后得到输出信号wn(k)；
其中，n表示帧索引，k表示频率索引。
本方案中，根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分了待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
较佳地，所述对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)的步骤包括以下步骤：
对所述第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)；
使用所述第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)；
基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)；
根据公式(1)计算得到第二残留功率peren(k)：
peren(k)＝ηn(k)pen(k)(1)；
基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)；
根据公式(2)得到所述第二残留信号vn(k)：vn(k)＝resgainn(k)*en(k)(2)。
本方案中，根据残留线性回声是由部分前期反射与后期混响形成，其与远端信号仍具备相关性，故以残留信号与远端信号的相关系数作为残留回声因子。使用相关性特征对残留线性回声做出较准确的估计，与现有技术相比，本方案不依赖于0/1结果的非线性处理，残留回声估计更加准确，过抑制问题得到改善。
较佳地，所述对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)的步骤还包括以下步骤：
对所述近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)；
所述基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)的步骤包括以下步骤：
使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述远端功率pdn(k)得到先验信回比sern(k)；
基于所述先验信回比sern(k)得到所述残留回声抑制增益resgainn(k)。
本方案中，将回声视为噪声的一类，使用语音增强理论进行先验信回比估计，然后再基于该先验信回比对残留回声抑制增益进行保护，能够避免语音的失真。
较佳地，所述使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述近端功率pdn(k)得到先验信回比sern(k)的步骤包括以下步骤：
根据回波抑制比判断是否为双讲状态，若是，则设置双讲系数resfac为第一预设值，若否，则设置所述双讲系数resfac为1；
所述第一预设值为小于1且大于0的数；
根据公式(3)计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac(3)；
根据公式(4)计算得到所述先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
本方案中，使用了回波抑制比为特征进行了双讲检测，若检测为双讲状态，则对回声的估计量做修改，以减小残留回声的估计量，最大程度的保护语音。进一步的保证了双工性能；同时抑制过程始终进行，双讲状态下也无回声残留。
较佳地，所述根据回波抑制比判断是否为双讲状态的步骤包括：根据所述回波抑制比和所述自适应滤波器的更新步长μn(k)判断是否为双讲状态。
双讲时近端信号被残留下来，回波抑制比低；同时在滤波器未收敛状态，大量线性回声残留，回波抑制比同样较低，为避免误检，本方案中，引入代表残留信号与回声估计信号的相关性的自适应滤波步长，若是双讲状态，该相关性很小。具体使用回波抑制比与自适应滤波步长为特征进行了双讲检测，以检测结果对回声的估计量做修改，最大程度的保护语音。进一步的保证了双工性能；同时抑制过程始终进行，双讲状态下也无回声残留。
较佳地，所述基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)的步骤包括以下步骤：
对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)；
将所述第二相关系数cohxe"n(k)设置为所述残留回声因子ηn(k)。
本方案中，将残留回声因子作谱平滑处理，谱泄漏得到控制，抑制更彻底，能够防止谱泄漏对回声估计的影响，与现有技术相比，本方案不依赖于0/1结果的非线性处理，残留回声估计更加准确，过抑制问题进一步得到改善。
较佳地，所述对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)采用公式(5)实现：
cohxef"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)(5)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1。
本方案中，回声在形成的过程中由于声波拉伸等因素会在原本频率的基础上泄漏到临近的频谱中，基于此将残留回声因子作谱平滑，一定程度减少泄漏的影响。
较佳地，所述基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)的步骤包括以下步骤：
对远端频域信号xn(k)使用所述自适应滤波器进行处理后得到回声估计信号yn(k)；
根据公式(6)计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)(6)；
对所述残差信号en"(k)进行失调检测与保护，以得到所述第一残留信号en(k)。
本方案中，针对自适应滤波器面临的各声场环境的失调问题，对自适应滤波器的输出进行幅度限制，进一步避免或减少了失调的产生。
较佳地，所述自适应滤波器的自适应更新步长μn(k)为所述残差信号en"(k)与所述回声估计信号yn(k)的相关系数。
本方案中，使用估计回声与残差信号的相关性为滤波器的更新步长，在双讲、近端单讲以及近端噪声场景，残差信号与回声估计信号不具备相关性，滤波器的更新程度理论上逼近于0，滤波器系数不更新，保证了自适应滤波的稳健性。相比现有技术类似使用远近端相关性的方法，估计回声与残差信号的相关性更加准确，避免了因延迟未对齐、底噪等因素产生的影响。
本发明第二方面提供了一种回声消除的处理系统，包括线性回声处理模块、残留线性回声处理模块和非线性回声处理模块；
所述线性回声处理模块包括自适应滤波器；
所述线性回声处理模块用于基于所述自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，所述第一残留信号en(k)包括残留线性回声信号和非线性回声信号；
所述残留线性回声处理模块用于对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)，所述第二残留信号vn(k)包括所述非线性回声信号；
所述非线性回声处理模块用于对所述第二残留信号vn(k)进行处理，以消除所述第二残留信号vn(k)中的所述非线性回声信号后得到输出信号wn(k)；
其中，n表示帧索引，k表示频率索引。
较佳地，所述残留线性回声处理模块包括第一功率计算单元、相关计算单元、因子计算单元、第一功率修正单元、增益计算单元、信号输出单元：
所述第一功率计算单元用于对所述第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)；
所述相关计算单元使用所述第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)；
所述因子计算单元用于基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)；
所述第一功率修正单元用于根据公式(1)计算得到第二残留功率peren(k)：
peren(k)＝ηn(k)pen(k)(1)；
所述增益计算单元用于基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)；
所述信号输出单元用于根据公式(2)得到所述第二残留信号vn(k)：vn(k)＝resgainn(k)*en(k)(2)。
较佳地，所述残留线性回声处理模块还包括信回比计算单元和第二功率计算单元；
所述第二功率计算单元用于对所述近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)；
所述信回比计算单元用于使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述远端功率pdn(k)得到先验信回比sern(k)；
所述增益计算单元用于基于所述先验信回比sern(k)得到所述残留回声抑制增益resgainn(k)。
较佳地，所述残留线性回声处理模块还包括双讲判决单元和第二功率修正单元；
所述双讲判决单元用于根据回波抑制比判断是否为双讲状态，若是，则设置双讲系数resfac为第一预设值，若否，则设置所述双讲系数resfac为1；
所述第一预设值为小于1且大于0的数；
所述第二功率修正单元用于根据公式(3)计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac(3)；
所述信回比计算单元用于根据公式(4)计算得到所述先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
较佳地，所述双讲判决单元用于根据所述回波抑制比和所述自适应滤波器的更新步长μn(k)判断是否为双讲状态。
较佳地，所述残留线性回声处理模块还包括谱泄露防止单元；
所述谱泄露防止单元用于对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)；
所述因子计算单元用于将所述第二相关系数cohxe"n(k)设置为所述残留回声因子ηn(k)。
较佳地，所述谱泄露防止单元用于采用公式(5)得到所述第二相关系数cohxe"n(k)：
cohxe"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)(5)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1。
较佳地，所述线性回声处理模块包括回声估计单元、残差信号计算单元和失调处理单元；
所述回声估计单元用于对远端频域信号xn(k)使用所述自适应滤波器进行处理后得到回声估计信号yn(k)；
所述残差信号计算单元用于根据公式(6)计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)(6)；
所述失调处理单元用于对所述残差信号en"(k)进行失调检测与保护，以得到所述第一残留信号en(k)。
较佳地，所述自适应滤波器的自适应更新步长μn(k)为所述残差信号en"(k)与所述回声估计信号yn(k)的相关系数。
本发明的积极进步效果在于：
本发明根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
附图说明
图1为手机通信免提模式时麦克风采集到的回声的时域特性示意图。
图2为本发明实施例1的回声消除的处理方法的流程图。
图3为本发明实施例2中步骤s1的处理流程对应的框架示意图。
图4为本发明实施例2中步骤s2的处理流程图。
图5为手机通信免提模式时麦克风采集到的回声的频域特性示意图。
图6本发明实施例3的回声消除的处理系统的模块示意图。
图7本发明实施例4中线性回声处理模块的示意图。
图8本发明实施例4中残留线性回声处理模块的示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图2所示，本实施例提供了一种回声消除的处理方法，包括以下步骤：
步骤s1、基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，第一残留信号en(k)包括残留线性回声信号和非线性回声信号。
步骤s2、对第一残留信号en(k)进行处理，以消除第一残留信号en(k)中的残留线性回声信号后得到第二残留信号vn(k)，第二残留信号vn(k)包括非线性回声信号。
步骤s3、对第二残留信号vn(k)进行处理，以消除第二残留信号vn(k)中的非线性回声信号后得到输出信号wn(k)。
其中，n表示帧索引，k表示频率索引。近端频域信号dn(k)为近端声音采集传感器如麦克风采集到的时域信号d(n)经stft(短时傅里叶变换)得到的频域信号。而输出信号wn(k)最终输出时再进行stift(短时傅里叶反变换)转换为时域输出信号w(n)，其也是整个完备性回声消除方法的输出。
本实施例中，根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
实施例2
本实施例在实施例1的基础上进一步改进。如图3所示，本实施例中，步骤s1包括：
s101、对远端频域信号xn(k)使用自适应滤波器af进行处理后得到回声估计信号yn(k)。
其中，远端频域信号xn(k)为远端输入扬声器spk的时域信号x(n)经stft得到的频域信号，时域信号x(n)经回声路径对应的响应h(n)后产生回声(echo)，连同用户语音(voice)以及噪音(noise)一并收入麦克风(mic)中。
具体地，
μn(k)为自适应滤波器的自适应更新步长。
s102、根据下述公式计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)。
s103、对残差信号en"(k)进行失调检测与保护，以得到第一残留信号en(k)。
其中，参考下述公式实现失调检测与保护：
本实施例中，针对自适应滤波器面临的各声场环境的失调问题，对自适应滤波器的输出进行幅度限制，进一步避免或减少了失调的产生。
本实施例中，自适应滤波器的自适应更新步长μn(k)为残差信号en"(k)与回声估计信号yn(k)的相关系数。自适应更新步长μn(k)计算方式如下：
其中，α为帧平滑系数，通过时间平滑逼近统计值，通常取值为0.01～0.1。
如图4所示，本实施例中，步骤s2包括：
s201、对第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)，具体为pen(k)＝||en(k)||2。
s201’、对近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)，具体为pdn(k)＝||dn(k)||2。
s202’、使用第一残留功率pen(k)和近端功率pdn(k)计算af回波抑制比errn(k)，具体为：
s202、使用第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)。
s203、对第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)；将第二相关系数cohxe"n(k)设置为残留回声因子ηn(k)。
其中，第二相关系数cohxe"n(k)采用下述公式计算得到：
cohxe"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1，本实施例中，βmax取0.25，βmin取0.05。
本实施例中，基于线性残留回声是由部分前期反射与后期混响形成，其与远端信号仍具备相关性，故以残留信号与远端信号的相关系数作为残留回声因子的基础。
因为回声在形成的过程中由于声波拉伸等因素会在原本频率的基础上泄漏到临近的频谱中，基于此本实施例中将残留回声因子作谱平滑，一定程度上减少谱泄漏的影响。
s204、根据下述公式计算得到第二残留功率peren(k)：
peren(k)＝ηn(k)pen(k)。
s204’、根据回波抑制比errn(k)和自适应滤波器的更新步长μn(k)判断当前是否为双讲状态，若是，则设置双讲系数resfac为第一预设值dtdfac，若否，则设置双讲系数resfac为1；其中第一预设值dtdfac为小于1且大于0的数，本实施例中dtdfac取0.3。
具体地，双讲检测采用回波抑制比errn(k)与自适应滤波器更新步长μn(k)联合检测。双讲时近端信号被残留下来，回波抑制比低；同时在滤波器未收敛状态，大量线性回声残留，回波抑制比同样较低，为避免误检，引入自适应滤波器更新步长μn(k)，代表了残留信号与回声估计信号的相关性，若是双讲状态，该相关性很小，具体表示如下：
其中，dtdflagn(k)表示双讲标志；errthrd表示回波抑制比门限，该门限取值范围为2～100，本实施例中取10；cohthrd表示相关门限，取值范围为0～0.5，本实施例中取0.4。
步骤s205、根据下述公式计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac。
本实施例中，若检测为双讲状态，则减小残留回声的估计量，最大程度的保护近端语音。
步骤s206、基于语音增强理论使用第一残留功率pen(k)、第三残留功率perefn(k)以及远端功率pdn(k)得到先验信回比sern(k)。具体地，根据下述公式计算得到先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
步骤s207、基于先验信回比sern(k)得到残留回声抑制增益resgainn(k)。
增益计算方式多种多样，如维纳滤波、谱减法、mmse(最小均方误差)与log-mmse(基于对数的mmse)等通用语音增强法。本实施例中采用如下增益计算方式：
同时对增益做最小值保护，避免语音的失真：resgainn(k)＝max[resgainn(k),gainmin]，本实施例中，gainmin取0.1。
步骤s208、根据下述公式得到第二残留信号vn(k)：vn(k)＝resgainn(k)*en(k)。
本实施例中，步骤s3采用现有的非线性处理方式对第二残留信号继续处理，进一步地，针对输出后的信号主观听感上会有一定的不适感的情况，还可以通过添加舒适噪声的方式进行听感改善，然后再进行输出，以得到整个完备性回声消除方法的最终的输出信号。
需要说明的是，本实施例中仅提供了一种回声消除的处理方法的实现方式，其内部涉及的各个步骤之间的顺序仅是示例性说明，也就是说，内部涉及的各个步骤的顺序可根据需要进行调整，并不会对本发明的保护范围造成限制。本实施例中af的滤波器结构并不是对本发明的保护范围的限制，除详细描述的实施方式外，其他频域nlms(归一化最小均方自适应滤波)、lms(最小均方自适应滤波)、rls(递归最小二乘自适应滤波)以及多块的mdf(themulti-delayblockfrequency-domainadaptivefilter，多延迟块频域自适应滤波)结构均适用于本发明。
为了更好地理解本实施例的实现方式及所能达到的技术效果，下面继续以手机通信免提模式为例进行说明，图5为播放1khz(千赫兹)单音时，麦克风所采集到的回声频域特性，其中图5的上半部分为对应的远端频域信号示意图，下半部分为包括了噪音和各种回声(线性回声(linearecho)、非线性回声(non-linearecho)、残留回声(spectrumleak))的近端频域信号的示意图，纵坐标为幅度，单位为db，横坐标为频率，单位为赫兹。从图5中可知，由于音频功放、扬声器等的谐波失真因素，麦克风拾取到的回声除1khz的线性回声外，还存在2khz、3khz的非线性回声成分，此外由于出声孔、防尘网等孔径对声波具有挤压作用，使得声波波长发生细微变化，在频域中体现为原本单一的频点变成了一个窄频带，对应的线性回声就存在一定的谱泄漏问题。经过对回声时频域特性的分析，待消除的回声成分则自然分解为了主要能量的线性回声、残留线性回声与非线性回声三部分。作为公知的方法，自适应滤波用于消除主要能量的线性回声。
针对af面临的各声场环境的失调问题，本实施例使用估计回声与残差信号的相关性作为滤波器的更新步长，使得在双讲、单近端信号等声场环境下，滤波器的更新程度逼近于0，增强了滤波器的稳健性；相比现有技术类似使用远近端相关性的方法，估计回声与残差信号的相关性更加准确，避免了因延迟未对齐、底噪等因素产生的影响；同时对滤波器的输出进行幅度限制，进一步避免或减少了失调的产生。
针对残留线性回声面临的是回声频谱泄漏与过抑制问题，本实施例首先使用相关性特征对线性残留回声做出较准确的估计，其次将残留因子作谱平滑处理，防止谱泄漏对回声估计的影响；最后本实施例还使用了回波抑制比与自适应滤波步长为特征进行了双讲检测，以检测结果对回声的估计量做修改，最大程度的保护语音。与现有技术相比，本实施例不依赖于0/1结果的非线性处理，残留回声估计更加准确，过抑制问题得到改善；谱泄漏得到控制，抑制更彻底；基于双讲检测的语音保护策略则进一步的保证了双工性能；同时抑制过程始终进行，双讲状态下也无回声残留。
本实施例对非线性回声进行非线性处理，最后产生舒适噪声对因非线处理造成的主观不适感进行听觉的改善。
本实施例根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
实施例3
如图6所示，本实施例提供了一种回声消除的处理系统，包括线性回声处理模块1、残留线性回声处理模块2和非线性回声处理模块3。该处理系统用于执行实施例1公开的回声消除的处理方法。
其中，线性回声处理模块1包括自适应滤波器，该线性回声处理模块1用于基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，第一残留信号en(k)包括残留线性回声信号和非线性回声信号。
残留线性回声处理模块2用于对第一残留信号en(k)进行处理，以消除第一残留信号en(k)中的残留线性回声信号后得到第二残留信号vn(k)，第二残留信号vn(k)包括非线性回声信号。
非线性回声处理模块3用于对第二残留信号vn(k)进行处理，以消除第二残留信号vn(k)中的非线性回声信号后得到输出信号wn(k)。
其中，n表示帧索引，k表示频率索引。近端频域信号dn(k)为近端声音采集传感器如麦克风采集到的时域信号d(n)经stft得到的频域信号。而输出信号wn(k)最终输出时再进行stift转换得到时域输出信号w(n)，其也是整个完备性回声消除方法的输出。
本实施例中，根据回声产生的原理，打破了现有技术中常规的线性回声与非线性残留的认知，将待消除的回声在频域上分解为了主要能量的线性回声、残留线性回声与非线性回声三部分，采用了对应的三级回声消除的处理方式，即自适应滤波器消除主要能量的线性回声、残留线性回声消除处理与非线性回声消除处理，通过细分待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
实施例4
本实施例提供的回声消除的处理系统用于执行实施例1或实施例2公开的回声消除的处理方法。本实施例在实施例3的基础上进一步改进。
如图7所示，本实施例中，线性回声处理模块1包括回声估计单元101、残差信号计算单元102和失调处理单元103。
回声估计单元101用于对远端频域信号xn(k)使用自适应滤波器进行处理后得到回声估计信号yn(k)。
具体地，远端频域信号xn(k)为远端输入扬声器spk的时域信号x(n)经stft得到的频域信号，时域信号x(n)经回声路径对应的响应h(n)后产生回声，连同用户语音以及噪音一并收入麦克风中。具体地，
μn(k)为自适应滤波器的自适应更新步长。
残差信号计算单元102用于根据下述公式计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)。
失调处理单元103用于对残差信号en"(k)进行失调检测与保护，以得到第一残留信号en(k)。
其中，参考下述公式实现失调检测与保护：
本实施例中，针对自适应滤波器面临的各声场环境的失调问题，对自适应滤波器的输出进行幅度限制，进一步避免或减少了失调的产生。
本实施例中，自适应滤波器的自适应更新步长μn(k)为残差信号en"(k)与回声估计信号yn(k)的相关系数。自适应更新步长μn(k)计算方式如下：
其中，α为帧平滑系数，通过时间平滑逼近统计值，通常取值为0.01～0.1。
如图8所示，本实施例中，残留线性回声处理模块2包括第一功率计算单元201、第二功率计算单元202、相关计算单元203、谱泄露防止单元204、因子计算单元205、第一功率修正单元206、双讲判决单元207、第二功率修正单元208、信回比计算单元209、增益计算单元210、信号输出单元211。
其中，第一功率计算单元201用于对第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)，具体为pen(k)＝||en(k)||2。
第二功率计算单元202用于对近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)，具体为pdn(k)＝||dn(k)||2。
相关计算单元203使用第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)。
谱泄露防止单元204用于对第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)。具体地，谱泄露防止单元204用于采用下述公式得到第二相关系数cohxe"n(k)：
cohxe"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1，本实施例中，βmax取0.25，βmin取0.05。
因子计算单元205用于将第二相关系数cohxe"n(k)设置为残留回声因子ηn(k)。
本实施例中，基于线性残留回声是由部分前期反射与后期混响形成，其与远端信号仍具备相关性，故以残留信号与远端信号的相关系数作为残留回声因子的基础。
因为回声在形成的过程中由于声波拉伸等因素会在原本频率的基础上泄漏到临近的频谱中，基于此本实施例中将残留回声因子作谱平滑，一定程度上减少谱泄漏的影响。
第一功率修正单元206用于根据下述公式计算得到第二残留功率peren(k)：peren(k)＝ηn(k)pen(k)。
双讲判决单元207用于根据回波抑制比errn(k)和自适应滤波器的更新步长μn(k)判断是否为双讲状态，若是，则设置双讲系数resfac为第一预设值dtdfac，若否，则设置双讲系数resfac为1；第一预设值dtdfac为小于1且大于0的数，本实施例中dtdfac取0.3。
其中，回波抑制比errn(k)使用第一残留功率pen(k)和近端功率pdn(k)计算得到，具体为：
具体地，双讲检测采用回波抑制比errn(k)与自适应滤波器更新步长μn(k)联合检测。双讲时近端信号被残留下来，回波抑制比低；同时在滤波器未收敛状态，大量线性回声残留，回波抑制比同样较低，为避免误检，引入自适应滤波器更新步长μn(k)，代表了残留信号与回声估计信号的相关性，若是双讲状态，该相关性很小，具体表示如下：
其中，dtdflagn(k)表示双讲标志；errthrd表示回波抑制比门限，该门限取值范围为2～100，本实施例中取10；cohthrd表示相关门限，取值范围为0～0.5，本实施例中取0.4。
第二功率修正单元208用于根据下述公式计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac。
本实施例中，若检测为双讲状态，则减小残留回声的估计量，最大程度的保护近端语音。
信回比计算单元209用于基于语音增强理论使用第一残留功率pen(k)、第三残留功率perefn(k)以及远端功率pdn(k)得到先验信回比sern(k)。具体地，用于根据下述公式计算得到先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
增益计算单元210用于基于第一残留功率pen(k)、第二残留功率peren(k)得到残留回声抑制增益resgainn(k)，具体地，用于基于先验信回比sern(k)得到残留回声抑制增益resgainn(k)。
增益计算方式多种多样，如维纳滤波、谱减法、mmse与log-mmse等通用语音增强法。本实施例中采用如下增益计算方式：
同时对增益做最小值保护，避免语音的失真：resgainn(k)＝max[resgainn(k),gainmin]，本实施例中，gainmin取0.1。
信号输出单元211用于根据下述公式得到第二残留信号vn(k)：vn(k)＝resgainn(k)*en(k)。
本实施例中，非线性回声处理模块3采用现有的非线性处理方式对第二残留信号继续处理，进一步地，针对输出后的信号主观听感上会有一定的不适感的情况，还可以通过添加舒适噪声的方式进行听感改善，然后再进行输出，以得到整个完备性回声消除方法的最终的输出信号。
针对af面临的各声场环境的失调问题，本实施例使用估计回声与残差信号的相关性作为滤波器的更新步长，使得在双讲、单近端信号等声场环境下，滤波器的更新程度逼近于0，增强了滤波器的稳健性；相比现有技术类似使用远近端相关性的方法，估计回声与残差信号的相关性更加准确，避免了因延迟未对齐、底噪等因素产生的影响；同时对滤波器的输出进行幅度限制，进一步避免或减少了失调的产生。
针对残留线性回声面临的是回声频谱泄漏与过抑制问题，本实施例首先使用相关性特征对线性残留回声做出较准确的估计，其次将残留因子作谱平滑处理，防止谱泄漏对回声估计的影响；最后本实施例还使用了回波抑制比与自适应滤波步长为特征进行了双讲检测，以检测结果对回声的估计量做修改，最大程度的保护语音。与现有技术相比，本实施例不依赖于0/1结果的非线性处理，残留回声估计更加准确，过抑制问题得到改善；谱泄漏得到控制，抑制更彻底；基于双讲检测的语音保护策略则进一步的保证了双工性能；同时抑制过程始终进行，双讲状态下也无回声残留。
本实施例对非线性回声进行非线性处理，最后产生舒适噪声对因非线处理造成的主观不适感进行听觉的改善。
本实施例从回声产生的原理入手，打破了现有技术中常规的线性回声与非线性残留的认知，将回声成分分解为了线性回声、残余线性回声与非线性回声三部分，对应设计出了以自适应滤波af、残留回声抑制与非线性处理为基础的三级频域回声消除解决方案，在充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
技术特征：
1.一种回声消除的处理方法，其特征在于，包括以下步骤：
基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，所述第一残留信号en(k)包括残留线性回声信号和非线性回声信号；
对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)，所述第二残留信号vn(k)包括所述非线性回声信号；
对所述第二残留信号vn(k)进行处理，以消除所述第二残留信号vn(k)中的所述非线性回声信号后得到输出信号wn(k)；
其中，n表示帧索引，k表示频率索引。
2.如权利要求1所述的回声消除的处理方法，其特征在于，所述对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)的步骤包括以下步骤：
对所述第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)；
使用所述第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)；
基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)；
根据公式(1)计算得到第二残留功率peren(k)：
peren(k)＝ηn(k)pen(k)(1)；
基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)；
根据公式(2)得到所述第二残留信号vn(k)：
vn(k)＝resgainn(k)*en(k)(2)。
3.如权利要求2所述的回声消除的处理方法，其特征在于，所述对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)的步骤还包括以下步骤：
对所述近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)；
所述基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)的步骤包括以下步骤：
使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述远端功率pdn(k)得到先验信回比sern(k)；
基于所述先验信回比sern(k)得到所述残留回声抑制增益resgainn(k)。
4.如权利要求3所述的回声消除的处理方法，其特征在于，所述使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述近端功率pdn(k)得到先验信回比sern(k)的步骤包括以下步骤：
根据回波抑制比判断是否为双讲状态，若是，则设置双讲系数resfac为第一预设值，若否，则设置所述双讲系数resfac为1；
所述第一预设值为小于1且大于0的数；
根据公式(3)计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac(3)；
根据公式(4)计算得到所述先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
5.如权利要求4所述的回声消除的处理方法，其特征在于，所述根据回波抑制比判断是否为双讲状态的步骤包括：根据所述回波抑制比和所述自适应滤波器的更新步长判断是否为双讲状态。
6.如权利要求2所述的回声消除的处理方法，其特征在于，所述基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)的步骤包括以下步骤：
对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)；
将所述第二相关系数cohxe"n(k)设置为所述残留回声因子ηn(k)。
7.如权利要求6所述的回声消除的处理方法，其特征在于，
所述对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)采用公式(5)实现：
cohxe"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)(5)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1。
8.如权利要求1所述的回声消除的处理方法，其特征在于，所述基于自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)的步骤包括以下步骤：
对远端频域信号xn(k)使用所述自适应滤波器进行处理后得到回声估计信号yn(k)；
根据公式(6)计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)(6)；
对所述残差信号en"(k)进行失调检测与保护，以得到所述第一残留信号en(k)。
9.如权利要求8所述的回声消除的处理方法，其特征在于，所述自适应滤波器的自适应更新步长μn(k)为所述残差信号en"(k)与所述回声估计信号yn(k)的相关系数。
10.一种回声消除的处理系统，其特征在于，包括线性回声处理模块、残留线性回声处理模块和非线性回声处理模块；
所述线性回声处理模块包括自适应滤波器；
所述线性回声处理模块用于基于所述自适应滤波器对近端频域信号dn(k)中的线性回声进行消除处理，以得到第一残留信号en(k)，所述第一残留信号en(k)包括残留线性回声信号和非线性回声信号；
所述残留线性回声处理模块用于对所述第一残留信号en(k)进行处理，以消除所述第一残留信号en(k)中的所述残留线性回声信号后得到第二残留信号vn(k)，所述第二残留信号vn(k)包括所述非线性回声信号；
所述非线性回声处理模块用于对所述第二残留信号vn(k)进行处理，以消除所述第二残留信号vn(k)中的所述非线性回声信号后得到输出信号wn(k)；
其中，n表示帧索引，k表示频率索引。
11.如权利要求10所述的回声消除的处理系统，其特征在于，所述残留线性回声处理模块包括第一功率计算单元、相关计算单元、因子计算单元、第一功率修正单元、增益计算单元、信号输出单元：
所述第一功率计算单元用于对所述第一残留信号en(k)进行功率计算，以得到第一残留功率pen(k)；
所述相关计算单元使用所述第一残留信号en(k)和远端频域信号xn(k)进行相关计算得到第一相关系数cohxen(k)；
所述因子计算单元用于基于所述第一相关系数cohxen(k)得到残留回声因子ηn(k)；
所述第一功率修正单元用于根据公式(1)计算得到第二残留功率peren(k)：
peren(k)＝ηn(k)pen(k)(1)；
所述增益计算单元用于基于所述第一残留功率pen(k)、所述第二残留功率peren(k)得到残留回声抑制增益resgainn(k)；
所述信号输出单元用于根据公式(2)得到所述第二残留信号vn(k)：vn(k)＝resgainn(k)*en(k)(2)。
12.如权利要求11所述的回声消除的处理系统，其特征在于，所述残留线性回声处理模块还包括信回比计算单元和第二功率计算单元；
所述第二功率计算单元用于对所述近端频域信号dn(k)进行功率计算，以得到近端功率pdn(k)；
所述信回比计算单元用于使用所述第一残留功率pen(k)、所述第二残留功率peren(k)以及所述远端功率pdn(k)得到先验信回比sern(k)；
所述增益计算单元用于基于所述先验信回比sern(k)得到所述残留回声抑制增益resgainn(k)。
13.如权利要求12所述的回声消除的处理系统，其特征在于，所述残留线性回声处理模块还包括双讲判决单元和第二功率修正单元；
所述双讲判决单元用于根据回波抑制比判断是否为双讲状态，若是，则设置双讲系数resfac为第一预设值，若否，则设置所述双讲系数resfac为1；
所述第一预设值为小于1且大于0的数；
所述第二功率修正单元用于根据公式(3)计算得到第三残留功率perefn(k)：perefn(k)＝peren(k)*resfac(3)；
所述信回比计算单元用于根据公式(4)计算得到所述先验信回比sern(k)：
其中，pvn-1(k)＝||vn-1(k)||2；γ表示平滑因子，γ取值范围为0.90～0.98；
初始值ser0(k)计算公式为：
14.如权利要求13所述的回声消除的处理系统，其特征在于，所述双讲判决单元用于根据所述回波抑制比和所述自适应滤波器的更新步长μn(k)判断是否为双讲状态。
15.如权利要求11所述的回声消除的处理系统，其特征在于，所述残留线性回声处理模块还包括谱泄露防止单元；
所述谱泄露防止单元用于对所述第一相关系数cohxen(k)作谱平滑处理后得到第二相关系数cohxe"n(k)；
所述因子计算单元用于将所述第二相关系数cohxe"n(k)设置为所述残留回声因子ηn(k)。
16.如权利要求15所述的回声消除的处理系统，其特征在于，
所述谱泄露防止单元用于采用公式(5)得到所述第二相关系数cohxe"n(k)：
cohxef"n(k)＝(1-β1-β2)cohxen(k)+β1cohxen(k-1)+β2cohxen(k+1)(5)；
其中，β1、β2分别表示谱平滑第一系数和谱平滑第二系数；
起始频段与结束频段β1、β2分别取0；
β1、β2＝βmax,cohxen(k±1)≥cohxen(k)；
β1、β2＝βmin,cohxen(k±1)＜cohxen(k)；
βmax的取值范围为0.2～0.4，βmin的取值范围为0.01～0.1。
17.如权利要求10所述的回声消除的处理系统，其特征在于，所述线性回声处理模块包括回声估计单元、残差信号计算单元和失调处理单元；
所述回声估计单元用于对远端频域信号xn(k)使用所述自适应滤波器进行处理后得到回声估计信号yn(k)；
所述残差信号计算单元用于根据公式(6)计算得到残差信号en"(k)：
en"(k)＝dn(k)-yn(k)(6)；
所述失调处理单元用于对所述残差信号en"(k)进行失调检测与保护，以得到所述第一残留信号en(k)。
18.如权利要求17所述的回声消除的处理系统，其特征在于，所述自适应滤波器的自适应更新步长μn(k)为所述残差信号en"(k)与所述回声估计信号yn(k)的相关系数。
技术总结
本发明公开了一种回声消除的处理方法及处理系统，处理方法包括：基于自适应滤波器对近端频域信号Dn(k)中的线性回声进行消除处理，以得到第一残留信号En(k)，第一残留信号En(k)包括残留线性回声信号和非线性回声信号；对第一残留信号En(k)进行处理，以消除第一残留信号En(k)中的残留线性回声信号后得到第二残留信号Vn(k)，第二残留信号Vn(k)包括非线性回声信号；对第二残留信号Vn(k)进行处理，以消除第二残留信号Vn(k)中的非线性回声信号后得到输出信号Wn(k)；其中，n表示帧索引，k表示频率索引。本发明根据回声产生的原理，通过细分待消除回声的成分，并针对性的对每种回声成分进行较精确的消除与抑制，能够达到尽可能高的回波抑制比，充分考虑回声消除彻底性的同时兼顾了全双工通信的需求。
技术研发人员：叶顺舟;康力
受保护的技术使用者：紫光展锐(重庆)科技有限公司
技术研发日：.11.18
技术公布日：.02.25
