引入非局部模块卷积神经网络的基频提取模型

基频估计是各种语音信号处理技术的关键子问题。最近的研究使用了一种数据驱动的方法，即使用卷积神经网络进行基频提取。然而，卷积神经网络的卷积运算一次只能处理本地音频采样点。只有递归地应用卷积运算才能捕获全局音频采样点相关性，但这种运算会导致计算效率低和优化困难等问题。受非局部模块在许多计算机视觉任务中出色性能的启发，本文提出了一种基于非局部模块的卷积神经网络基频提取方法。与连续叠加的卷积神经网络相比，非局部模块可以直接计算两个位置之间的关系，也就是说，由于可以忽略其欧氏距离，因此可以快速捕获长期相关性。对于基频估计任务，在卷积神经网络添加一个非局部模块来计算音频采样点之间的相似性时，它有助于捕获帧和样本点之间的全局相关性，计算复杂度略有增加。非本地模块可以保持输入和输出尺寸不变，因此可以轻松地与卷积神经网络集成。实验结果表明，与基线模型相比，MAE模型至少降低了0.7，获得了最佳性能。