戴口罩人脸识别，是不是伪命题

昨天，雷锋网AI掘金志其中的一个安防社群因为一个话题引发了不小的争论：“AI产品能否高效地实时识别出戴口罩的人是谁？”

过去一段时间，受疫情影响，民众们无不戴上了口罩，这同时也给人脸识别检测造成了不小的困扰。就此，部分厂商连夜升级原有算法，革新固有产品。并声称，升级后的AI系统，即使居民戴了口罩，也能做到无障碍识别。

对于这个说法，有业内人士认为：“无论算法如何升级，这类AI产品很难落地及量产，口罩识别技术根本不可能做到。”

但也有人极力反驳：“相关技术已经比较成熟，口罩识别没有什么问题，相关产品目前已经成功商用了。”

一时间，社会话题之外，“口罩”也成了AI圈的热议词汇。

1

在讨论AI能否识别戴口罩的群体之前，我们先来谈谈人脸识别的使用场景。

目前，人脸识别的落地方向大致可以分为两大类：

• 一是消费级场景，譬如手机解锁、社区出入等等；
• 二是安防类场景，譬如逃犯抓捕、幼儿寻回等等。

这两大类场景对于技术的要求维度截然不同，消费类场景看中技术精度，涉及到金融支付的手机解锁等场景对于AI识别准确率要求之高让人咂舌，通常四个九起步。

以如意支付PAD为例，该款刷脸支付设备内置了银行卡检测中心认证的云从增强级活体检测模组，并已实现99.99%的防活体攻击准确率。

而安防类场景则更为看中技术的广度。以公安抓逃为例，为了逃避天眼追踪，绝大多数犯罪嫌疑人在反侦察过程中都会选择戴帽子或者戴口罩，以遮挡部分面部特征。

考虑到安防场景的现实所需，部分厂商很久之前就开展了对于面部遮挡技术的研究工作，在提升技术可用性方面做了不同程度的尝试。

雷锋网AI掘金志通过采访数位业内资深专家，得到的答案比较一致：

“口罩、帽子等遮挡物确实会对AI识别造成精度下降，但还需要考虑遮挡面积，并非完全不能识别。”

在口罩识别的技术攻克中，主要会遇到的技术难题有三个：

• 由于口罩遮挡，人像信息减少，学习到的特征的判别性随之较少。具体的，二维纹理信息会由于遮挡而丢失、三维形状信息会带有噪声；
• 口罩类型比较多且口罩遮挡程度不一，如何更多地利用非遮挡区域的信息也是一个影响因素；
• 戴口罩人脸的人脸检测和人脸关键点检测的精度受到口罩遮挡的影响会降低。

2

此前，华为在这块便进行了多种尝试，并申请了一项名为“人脸识别方法、装置及计算机可读介质”的影像重构技术专利。

该专利显示，通过图像重构网络可以将戴配件（眼镜、口罩、帽子等）的人脸图像重构为未戴配件的人脸图像。

数据来自：智慧芽全球数据库

另外，华为还申请了一项“一种人脸识别方法及系统”的技术专利。

通过人脸识别方法实现了对人脸上存在遮挡物的人脸图像进行准确的识别，提高了人脸识别的精确性。

数据来自：智慧芽全球数据库

此技术关键点是建立遮挡人脸图像库，具体来说就是在判断需要识别的人脸图像上有遮挡物（例如眼镜、口罩等）时，将遮挡物提取出来并增加到参考数据库中未遮挡的人脸图像上。

例如在判断出待识别人脸有佩戴眼镜时，就提取出眼镜特征并在原图像库的基础上新建一个戴眼镜的参考图像库，再将需要识别的人脸图像与该库中的参考图像进行匹配查找，从而完成识别。

华为之外，阿里也申请了相关专利。

此前阿里则用“局部特征细化与整体相似度评估”的方式来提高准确率，他们通过综合局部器官图像匹配技术完成识别，此时局部器官不仅可以是眼睛图像、鼻子图像、嘴巴图像和耳朵图像等，还可以是下巴区域、脸部轮廓、胎记或黑痣图像等等。

根据面部多个局部器官的相似度评估指标和对应的权重，得到整体相似度评估指标，从而获取更精确的遮挡下的面部识别结果。

当然，国内人工智能企业在人脸识别领域也有大量专利，比如的卢深视。

的卢深视是一家专注于计算机视觉和人工智能的创业公司，为安防、金融、教育等领域提供解决方案，目前他们已经在多个领域拿下数个千万级别的项目订单。

“有遮挡面部识别本来就属于技术研发规划中的既定项目，此前主要针对墨镜、大檐帽等。”

的卢深视副总裁朱海涛博士告诉雷锋网，在安防领域，遇到识别口罩等技术需求再平常不过了。

据悉，此前他们在某边疆省份落地3000多套3D设备，并建立了省级规模的人像数据库，使用将近5年的过程中，采集得到的实战数据千亿级别，累计ID近3000万，里边涉及太多个性化识别，在解决部分面部遮挡方面有很多的技术积累。

针对口罩识别，朱海涛博士提到，短时间内主要通过模拟生成戴口罩数据，从而优化人脸识别算法模型。期间，主要关注两个点：

一是训练数据规模，通常都是数十万到百万级别，在图像质量有保障的前提下，规模越大，通常优化效果越好。

这就带来了第二个关注点，厂商很难在短时间内采集得到数十万的戴口罩数据，这个时候就要采用模拟的方法，具体而言：

二维：一般厂商通常的做法是，根据二维图片上的人脸关键点，将二维的口罩贴图和二维图片中的人脸做一个对齐，然后根据口罩的mask图来完成填加口罩操作。

三维：而的卢深视选择先重建三维人脸模型，再将口罩的三维模板模型与三维人脸模型做非刚性对齐，从而完成模拟加口罩的操作。

总结来说，的卢深视基于人脸全局特征及局部特征相结合的方法，同时充分利用人脸未遮挡部位的三维几何信息进行三维人脸识别研究，相对于普通的二维人脸识别能够有效应对戴口罩等遮挡场景的人脸识别。

据悉，依托3D数据的丰富特征，针对戴口罩、戴帽子、戴防护镜等严重遮挡情况，通过算法优化，的卢深视的技术识别准确度可以达到97%以上。

“目前，我们的技术方案已经在全国多个地市落地应用。”朱海涛博士提到。

譬如在温州，为了平衡居民生活与防疫措施，温州在全市范围内实行村（居）民出行管控措施，要求全市每户家庭每两天指派一名家庭成员采购物资。

为了此项管控举措更安全有效的实施，的卢深视利用 3D视觉人脸比对终端设备搭配三维人像数据平台，形成人脸比对及快速建库方案，在出入口进行刷脸核验，实现出入人员管控，同时对新增人员进行快速入库操作，后台大数据系统实时绘制人员行为轨迹，为疫情排查提供依据。

“真正成立口罩识别相关研究是在1月中旬启动，落地是在一月底，大概2周时间，落地部署之后，我们一直在持续调优。”

朱海涛博士补充道。

值得一提的是，目前的卢深视该方案已入选由中华人民共和国应急管理部主办的应急装备综合信息服务平台，第一时间响应国家和政府的应急需求保障。

无论是从华为、阿里的技术专利出发，还是从的卢深视的落地案例来看，相关厂商们在此之前就已经考虑到了人脸识别遮挡的情况，并做出全方位的技术突破。

由此也可以得出结论：口罩识别等小众需求在某些场景已是大众问题，随着AI使用场景的愈加多元，相关技术也定会不断革新。

新技术的突破与应用固然有着诸多不足与弊端，但也是社会发展的必然，不加分辨地完全认可和全盘否定都是不可取的。

找出问题、解决问题，多一些耐心、少一些戾气，才是技术发展的主旋律和应该有的节奏。

3

针对戴口罩场景下通过人脸识别进行身份核验这一热点问题，雷锋网AI掘金志深度采访了的卢深视相关专家，以下是全部内容，雷锋网(公众号：雷锋网)作了不改变原意的整理与编辑：

1、如何定义“戴口罩人脸识别”？

戴口罩人脸识别是指在正确佩戴口罩的情况下，实现非接触式的人的身份核验，即明确“你是谁”。

戴口罩人脸识别属于遮挡人脸识别，要求在可接受的误识别率范围内，达到较好的正确识别率。戴口罩人脸识别涉及的算法除了人脸检测、关键点检测和人脸特征提取算法外，还包括口罩（有无）检测或口罩区域检测。

2、是否需要保障露出多少面部特征？

由于嘴部区域和鼻子区域受到了遮挡，对人脸识别带来了很大的挑战。一般而言，口罩遮挡部位越小，人脸识别模型的性能越高。

以的卢深视的三维口罩遮挡人脸识别解决方案为例，在正确佩戴口罩的场景下即可成功识别。

3、戴口罩人脸识别的技术原理是什么？

的卢深视基于人脸全局特征及局部特征相结合的方法，同时充分利用人脸未遮挡部位的三维几何信息进行三维人脸识别研究，相对于普通的二维人脸识别能够有效应对戴口罩等遮挡场景的人脸识别。

4、戴口罩识别有哪些技术难点？

· 戴口罩人脸的人脸检测和人脸关键点检测的精度受到口罩遮挡的影响会降低；

· 由于口罩遮挡，人像信息减少，学习到的特征的判别性随之较少。具体的，二维纹理信息会由于遮挡而丢失、三维形状信息会带有噪声；

· 口罩类型比较多且口罩遮挡程度不一，如何更多地利用非遮挡区域的信息也是一个影响因素。

5、如何提升戴口罩识别的准确率？

简单讲讲通过模拟生成戴口罩数据，从而优化人脸识别算法模型这种研究方法。

的卢主要关注两个点，一个是训练数据规模，通常都是数十万到百万级别，在图像质量有保障的前提下，规模越大，通常优化效果越好。

这就带来了第二个关注点，我们很难在短时间内采集得到数十万的戴口罩数据，这个时候就要采用模拟的方法，具体而言：

· 二维：通常的做法是，根据二维图片上的人脸关键点，将二维的口罩贴图和二维图片中的人脸对齐，然后根据口罩的mask图来完成填加口罩操作。

· 三维：先重建三维人脸模型，再将口罩的三维模板模型与三维人脸模型进行非刚性对齐，从而完成模拟加口罩的操作。

的卢深视成立5年落地多个项目，并帮助某边疆省份建立了省级规模的3D人像数据库，积累大量实战数据。由于实战数据的丰富性，为的卢深视能够迅速开展更多前沿研究奠定了基础。

6、相关方案对使用环境的大小、优劣有要求吗？

由于3D技术的优势，我们的方案支持大库建库以及精准识别，可以在学校、医院、校区等人流量较大的场景使用。

7、疫情之后，对于技术发展趋势，你如何判断？

省市级别的人员数据库建设会成为趋势。（其实此次疫情从武汉蔓延到多地，也是由于人员数据的跨区域追踪不到，加速了疫情蔓延）