基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真人脸还是假人脸。它是人脸识别系统安全性的重要保证。传统的人脸反欺骗方法主要使用人工设计的特征，如LBP、HoG、SIFT、SURF和DoG，来描述真实人脸和虚假人脸之间不同的特征分布，但人工设计的特征难以适应无约束环境（如光线和背景的变化）下的人脸反欺骗问题。鉴于此，本文提出了一种多模式融合模型，该模型通过融合不同模式下的人脸特征来实现鲁棒的人脸抗欺骗。首先，根据通道注意网络，设计了多模式共享分支网络，实现了特征提取过程中不同模式之间的信息交互。然后，在信道注意融合网络的基础上，提出了一种多模态信道注意融合网络，以融合不同模式的特征。最后，利用融合后的多模态特征进行分类。在CASIA surf数据集上的大量实验结果表明，与主流的多模态人脸反欺骗方法相比，该方法将APCER和ACER的指数分别降低了1.1%和0.4%。充分证明了该方法能有效地融合不同模态的特征，提高模型的鲁棒性。