@大碗 和 @笨猫猪 提到的清华2006年那个系统的完成人是我同实验室的直系师兄。这个系统09年以后一直是我负责改进。还参加了最新的frvt2012。此外题主说的那篇paper我上周组会刚讲过。因此自认为有点发言权。 先给出观点，如果数据没有注水的话，这个绝对是突破性的成果。lfw上超过人脸意味着在人脸识别80%的应用环境下机器的性能可以超过人脸。而06年的结果只意味着在身份证比对、小型办公场所签到等极少应用下机器的性能超过人脸。 1.2006年全面超过人脸时的条件是实验室内部拍摄条件、正面姿态、正面光照。这种条件下的人脸识别错误率的进展大约是每3年下降10倍。FRVT2012中期结果中最好的单位(不出意外应该是日本的NEC公司)的错误率已经达到了我们06年系统的1%左右。而我手上的系统相比06年大约提升了十几倍，目前在中期结果中排名6-7名。 2.lfw数据库直接是从雅虎网上抓的照片。难度在业界属于顶尖。该库09年公布后至今没有难度更大的静态照片库出现。难度相当但数据量更大的库倒是有两三个。我们06年的系统跑lfw也就70+的水平。而我们实验室的最高水平(也是国内除face++外的最高水平)大约是92左右。大概相当于2012年底的state-of-the-art。 3.2014年的三个逆天结果，deepface的97.25%、face++的97.27%、gaussianface的98.52%，前两者都用了deep learning。第一个训练数据400万。第二个算法细节不明，但deeplearning向来吃样本，想来训练库也是百万量级。唯有gaussianface的训练库仅2万余。 4.arxiv和CVPR等顶会完全不矛盾。先发上来只是为了不让别人抢先。估计未来的顶刊顶会上很快会出现这个结果。 5.算法细节太过技术，难以在这里深入浅出，就不多介绍了。只提一篇paper。Blei的latent dirichlet allocation，2003年的jmlr，引用量近万。本文对人脸的贡献方式大概相当于lda对文档分类的贡献方式，懂行的人自然知道这句话的分量。当然lda珠玉在前，deep learning风头正劲，所以真正的历史地位，本文自然不可能赶上lda。但一篇正常pami的水准肯定是有的。 =============================5月21日更新================================ 居然上了知乎日报好激动～那就再说一下我对GaussianFace的理解了。只说我认为最有突破性的地方吧。具体推导过程一来论文中有，二来比较复杂，三来我自己还没重复实验不确保细节理解都正确，这里就从略了。 1.解决的问题是模式认证问题，就是说输入两个向量 和 （可以是人脸照片或别的），输出相似度 表示这两个向量属于同一类的概率。（人脸识别中就是两张照片是同一个人的概率）。训练集有一堆向量，有些属于同一类，有些不属于同一类。目标就是根据训练集来猜这个函数 . 2.GaussianFace以前成功的算法分两类：metric learning和bayesian framework。它们都是假设这个函数具有一个参数的形式 。然后利用训练集估计出一个最好的 。 2.1 metric learning中 是显式的，比如是二次型的形式， 就是中间的那个矩阵。 2.2 bayesian framework 是隐式的，认为训练、测试样本都有同一个随机model生成， 代表这个model的各种参数，由训练集根据最大似然／最大后验／beyesian方法估计得到。然后在给定model的情况下推导 的最优表达式。 3.这两类问题都有一个硬伤：训练集样本和测试集样本分布情况不同（比如拍摄条件不同、人种不同等等）时，由训练集估计的 对测试集不适用，这样这些训练集就用不上了，只会添乱。 4.GaussianFace声称的牛逼之处在于，用他们的算法，训练集只需少量和测试集分布一致的样本＋大量其他样本，算法就能从这些其他样本中获益。 5.他们的关键在于，不认为 具有参数形式，而是认为它是一个随机函数。 6.一个函数，在不严谨的说法下，可以看成一个无穷维的向量。 7.一个有限维随机向量可以假设符合多维正态分布－即gaussian分布。类似的，一个无穷维向量，或一个函数，可以假设服从无穷维正态分布－即gaussian过程。 8.决定gaussian分布的参数为均值 和协方差矩阵 。同样，决定gaussian过程的参数为均值函数 和协方差函数 。文章中假设 ，因此参数只剩协方差函数。 9.通过训练集估计 的算法是个优化过程，定性的说，就是尽量同时让1.那个和测试集分布一致的少量训练集的出现概率尽可能高。2.其他训练集对这个训练集提供的信息尽可能多。整个优化过程相当麻烦，我也不确保细节都理解正确。总之这个 是可以估计出结果的。 10.有了 ， 就有了明确的先验分布，接着就用普通Bayesian方法，给定测试样本时可以将不相关的变量都积分消除，得到最终的相似度。这一步用了些近似处理，细节不表。 11.GaussianFace相比与之前算法最大的区别在于，认为相似度函数是随机的而非确定的。这样从模型上认可了不同样本可能具有不同的相似度函数。因此从原理上克服了第3点提到的问题。 12.缺点在于， 的估计只能通过kernel的形式，空间复杂度为样本数的平方，这个限定了在一般实验室中，训练样本数只能限制在 量级。

谢邀。 文章细节 @梁亦聪 和 @邹哥亮 有分析了。 重点是强调了训练的generalization，通俗来讲就是在A数据库上训练的模型，在B数据库上测试毫无压力。关于这个“训练的问题”有篇很有意思的论文： Unbiased Look at Dataset Bias 之前有人讨论过： 转：卖萌的大牛你桑不起啊 ——记CVPR2011一篇极品文章 算法的细节以后看了再评论。我主要想答“计算机超过人类”这点。 其实个人感觉这个“outperforms humans for the first time” 有点标题党。 实际上在2006年的大规模人脸测试 Face Recognition Vendor Test 2006 上，来自清华丁晓青老师研究组的TS2-NORM算法就已经超过人的识别率了。测试报告参见：http://www.nist.gov/customcf/get_pdf.cfm?pub_id=51131 如图所示，曲线越往左下角靠表示性能越好。黑色的是人类，可以看出有两个算法(V-NORM，ST-NORM)已经很接近人类的性能，而TS2-NORM就已经比人类好了。 这个实验采用的是80对人脸图像，分别是在可控光照和不可控光照下拍摄的，人需要在两秒之内判断每一对人脸是否来自同一个人（给出1到5的打分，1表示十分确定是同一个人，5表示十分确定不是同一个人）。一共有26个参与者参加了实验。 需要注意的是，这些图片仅包含光照变化，而且都是高清的。本题报道的论文是在LFW（http://vis-www.cs.umass.edu/lfw/）这个库上测试的。这个库是“非约束人脸识别”的一个最著名的标准库。库里的图像参见http://vis-www.cs.umass.edu/lfw/sets_1.html ，这些图像是网络上收集的，包含了很大的变量，例如光照、姿势、表情、遮挡、分辨率。可以说这个实验比2006那个要难很多。 但是，题主问的这篇也不是“第一篇”声称自己超过人类的。之前Facebook的Deepface也声称自己超过了人类：https://www.facebook.com/publications/546316888800776/ 我个人感觉这些算法声称“超过人类”，都有点为了夺眼球的意思(但是引发大众关注、讨论是很好的)。从LFW的结果页面来看：http://vis-www.cs.umass.edu/lfw/results.html#Human 人类在LFW库上最好的识别结果是99.2%，题主提到的论文对比的是97.53%那个结果。两者不同是因为采用的图像裁剪、对齐方法不同(仅仅裁剪出含人脸的部分)。这个对齐方法对识别的影响是很大的。 那么回到问题上来，现在的人脸识别算法是否已经超越了人类呢？ 我个人觉得还没有那么乐观。 正如题目这篇论文 Surpassing Human-Level Face Verification Performance on LFW with GaussianFace http://arxiv.org/abs/1404.3840 的讨论部分提到的，人脸其实比较善于识别“熟悉人脸”，比如一个人可以在很昏暗的环境下快速认出自己的朋友、可以从人群里快速找到自己的家人……2006年的那个测试和LFW上的这些测试，对于人类来讲，都是“不熟悉的人脸”，其实是很不公平的。有点像用计算机的长处去比了人类的短处。 自动人脸识别技术发展了40多年，False reject rate从1993年的79%降到2010年的0.3%(false accept rate=0.1%)，LFW库上的算法识别率从2007年的60%升到2014年的97~98%，可见是取得了巨大进步的。 现在人类到底是如何识别人脸的，机制还不是很清楚。但是，总体来说人脸识别算法还是在一步一步接近人类识别的。 ----- 补充回答 ---------- 在这里要提供一些 真正的人类识别人脸 的能力的资料！！！ 关于人类对人脸识别的一些有趣现象，大家可以看这篇科普性的文章：Face Recognition by Humans: Nineteen Results All Computer Vision Researchers Should Know About IEEE Xplore Abstract 人对于“熟悉”人脸的识别能力可以看一个例子(图来自于上面这篇文章)： 即便是在分辨率如此低的情况下，要认出4是克林顿，10是查尔斯王子 也不是很难吧？ 这篇综述有讲关于“熟悉人脸”识别的研究： Familiar and unfamiliar face recognition: A review http://www.tandfonline.com/doi/pdf/10.1080/09658210902976969 另外，总是有人提到自己是脸盲，可以到这里测试一下自己认脸的能力：http://www.testmybrain.org/tests/start 严重的脸盲是连自己的脸也认不出的，据一个严重的患者说每次在公共卫生间大家排着队等时，从镜子里看到很多人脸，不知道哪一张是自己的，需要先做一个鬼脸才知道哪个是自己的人脸…… 与此相对的，是一些 超级认脸者，就是从来不会忘记曾经见过的人脸！！！(这样其实也很痛苦吧……) 英国的Channel 4曾经做过一档节目，在请了一些这样的超级认脸者来PK，在英国一个火车站，找了一些志愿者穿上一模一样的套头衫，戴上套头然后混在火车站人群里面，请这些认脸者来观察；观察结束后，这些志愿者混入一些没有出现在火车站的志愿者中，脱去套头衫，然后请认脸者把他们挑出来~ https://hiddentalent.channel4.com/c4/tests/recognizer

谢邀！ 文章刚出来时，叫一实习生业余去研究番，但到目前他还没来得及做报告，这里仅以我有限的了解回答下。（多图） 暂不究算法细节，就此新闻，需要发问的是“文章中的识别准确度98.52%是怎么得来”以及“人类的人脸识别能力（Human-Level Face Verification Performance）是如何度量的”，要查清这些问题，还得从LFW说起。 1、LFW数据集及人脸识别实验设计 1.1 LFW人脸数据集 LFW（Labeled faces in the wild[1]）是人脸识别研究领域比较有名的人脸图像集合，其图像采集自Yahoo! News，共13233幅图像，其中5749个人，其中1680人有两幅及以上的图像，4069人只有一幅图像；大多数图像都是由Viola-Jones人脸检测器得到之后，被裁剪为固定大小，有少量的人为地从false positive中得到[2]。所有图像均产生于现实场景（有别于实验室场景），具备自然的光线，表情，姿势和遮挡，且涉及人物多为公物人物，这将带来化妆，聚光灯等更加复杂的干扰因素。因此，在该数据集上验证的人脸识别算法，理论上更贴近现实应用，这也给研究人员带来巨大的挑战。 图1. LFW人脸图像示例 1.2 LFW数据集上的识别实验设计 官方文档[2]详细给出了待测算法在LFW上实验的规范，以便于不同算法间的比较。 识别算法要完成的工作是人脸验证（Face verification），即判断给定的两张图片（一对）中的人脸是否来自同一个人。 LFW将数据集分作两大块，[View 1]用做供研究人员选择其算法模型所用，包括一个训练集和一个测试集，不管是训练集还是测试集，其图片都是由M对来自同一人脸的图像和N对来自不同人脸的图像构成；当确定了模型后，算法将在[View 2]上实验，[View 2]包含10个子集，每个子集构成规则同刚讲到的训练集或测试集，实验过程大抵为： A、每次从10个子集中选一个做为测试集，其余9个做为训练集； B、通过训练集确定模型的参数； C、对测试集进行预测； D、计算预测的准确度； 进行十次之后，平均的准确度即为该算法在LFW上的识别准确度，GaussianFace的98.52%即是如此计算的。 图2. 训练集示例 1.3 其他的人脸数据库 这里顺带把文章[0]中用到的两个公开数据集在这说下： A、Multi-PIE[3] 在可控环境下人为产生的337个人的750,000张图片，包含15个视角及19种光照变化。 图3. Multi-PIE图像示例 B、MORPH[4] 多种族多年龄段图像集，成像条件类似证件照过程。 图4. MORPH图像示例 图5.MORPH图像集统计信息 粗略看来，LFW较之上面二者，更贴近人类活动的现实场景，在LFW上验证的识别算法理论上可能应对现实中特定的或基本的人脸识别应用。 当然，还有其他诸多公共数据集，在[2]中有详细列表，或在http://www.face-rec.org/databases/获知。 2、 人类的人脸识别能力 最让人类纠结的事情莫过于明知自身有着高度的智慧，却不知这种智慧的运作机理，难道这种智慧里面就不包含了解这种智慧运作机理的智慧吗？人类想创造出拥有同等智慧的物体却始终不能得偿所愿。 对人脸的识别能力是人类智慧中的一种，确切地说是人类视觉认知能力之一。如果说不能了解这种能力的运作机理，那是否可以对这种能力进行度量呢？比如说，人类在体育竞技上取得的成绩即可以认为是人类所具备的那些能力的度量，同理，也可以设计类似的分值以粗略量化人类对人脸的识别能力。 文章[0]中提到的人类的人脸识别能力（Human-Level Face Verification Performance）是引自文章[5]的。 作者利用Amazon众包服务[6]，对选自LFW的6000对图片，平均每对图片进行10人（不同人）次的识别，大约分配给了240000个用户去进行人脸识别的测试，准则如下图： 此项实验其考察了人类在三种情形下对人脸的识别能力：

• 对包含人脸的图像整体的识别能力，也就是说，不只是人脸，其他诸如体态、服饰，场景等也可能做为识别成功的因素，自然这种情形的准确度是最高--99.20%；
• 对人脸部图像的识别能力，也是一般人脸识别算法的处理对象，准确度为97.53%；
• 对不包含人脸的图像整体的识别能力，也就是说，遮上人脸，只通过诸如体态、服饰，场景等信息进行识别，自然这种情形的准确度要低--94.27%；

好了，被打败的人类识别能力就是这样定义的，做为人类一分子的你，不管是拖了后腿还是低估了你，你就是这样被算法打败的！不服？你上最吊大脑秀去啊。。。当然，所谓的人类识别能力也不是只有这家子的定义，还有好几个呢，当然，它们都不出意外地被这个或那个算法打败了！！！所以，媒体宣传说人类识别能力首次被超越是不严肃的。我们过一下文章[0]提到的那几个被打败的人类识别能力的定义：

• [7]中的人类代表是作者在AiT（现3M）公司的同事，共21男（16男5女），年龄在20-40；
• [8]中的人类代表是Texas大学的91名学生；
• [9]中的人类代表是43名在校大学生；

3、关于GaussianFace终于轮到主角出场了，是不是等了好久了，伦家可是打败了人类，上了头条的X星人。。。你这么吊你家里人知道吗！知道吗！关于算法， @梁亦聪 已经细读了文章，也给了详细的解释； @笨猫猪 也提到多任务学习（multi-task learning），这方法是用做得到模型，提升性能而已；GaussianFace（下面用GF表示）的核心在于高斯过程（Gaussian Processes，GPs）[10]的应用，包括Gaussian Processes for classification和Gaussian Process Latent Variable Model (高斯过程隐变量模型，GPLVM)，其优点如下：

• 高斯过程是一种基于核函数的方法，是一种非参数概率模型，具有完全的贝叶斯公式化表示；根据训练样本，可以从先验分布转换到后验分布，不仅能对未知输入做输出预测，同时也能给出该预测的精度参数。（原文描述为：Moreover, the GaussianFace model is a reformulation based on the Gaussian Processes (GPs), which is a non-parametric Bayesian kernel method）
• GPLVM的特性在于，当观测数据的样本个数比较少时，仍然可以用来寻找观测数据的低维流形，也就是说GPLVM非常适合处理小样本的高维数据。这就是GF只需要少量样本（约40000），便在LFW上取得 了良好的结果；
• 相比于SVM的参数需要通过交叉验证方法或者经验法得到，高斯过程隐变量模型中需要确定的模型参数包括核函数中的超参数（(hyper parameter）和隐变量Z，采用的方法是共扼梯度优化法（ Conjugate Gradient）；至于神经网络或深度学习，那更是门调参数的艺术；

与其说GF打败了人类，不如说其打败了深度学习，至少目前在LFW是这样，FaceBook的DeepFace或是Face++的人脸DL表述都得屈居其后。同时不负责任地说句，这可不是GPs首次打败神经网络，就在DeepLearning就要一统江湖的时候，GF是不是让还没摊DL这趟浑水的同学看到了希望呀。那是不是说GF就是人脸识别的终极方案呢?4、人脸识别碎碎念说到人脸识别，很多人都要说这不很成熟的玩意嘛。确实，毕竟大年轻的人工智能历程上有着悠久的历史，随便找个这方向的研究生，甚至是做过这方向毕设的本科生，也能捣鼓出将一宿舍人识别出来的程序，EignFace/FisherFace，PCA/LDA，或是LBP/Gabor/HOG/MBLBP/SIFT...扔到SVM/LR/Adaboost...里去，或是赶赶DL的时髦，哥也是搞过智能的，人脸识别有那么难吗，骗谁呢，当我没上过大学是吧。。。大伙儿接触到的人脸识别场景大致如下：

• 人脸考勤：当然要求正脸了，光照较稳定；
• 智能设备的人脸登录：正脸，光照可能有变化，但识别不出来也不负责；
• 安检（室内）：固定的机位得到合适的人脸，采用近红外摄像头可一定程度避免光照影响；

总之，都不是将被识别对象放置于生活场景的应用，而且不容许被动失败，这样，大家当然觉得人脸识别还挺成熟。但当我们考虑到全网人脸搜索，SNS上人脸识别的时候，问题的难度便呈几何级增长； 5、参考 [0].Surpassing Human-Level Face Verification Performance on LFW with GaussianFace.[PDF] [1]. http://vis-www.cs.umass.edu/lfw [2]. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments.[pdf] [3].MULTIPIE.ORG [4]. MORPH Database [5].Attribute and Simile Classifiers for Face Verification [6]. AWS | Amazon Mechanical Turk [7].Comparing Human and Automatic Face Recognition Performance. [8].Face Recognition Algorithms Surpass Humans Matching Faces over Changes in Illumination. [9].Comparing Face Recognition Algorithms to Humans on Challenging Tasks. [10]. The Gaussian Processes Web Site

谢邀！ 我是半个专家，所以，可能有一半是错的。 Surpassing the human-level performance may only be symbolically significant。 就这句就比国内的无脑媒体记者实在好太多了，也是对全文的总结。 首先，要理解这种测试的场景，跟我们日常环境下所说的识别场景是不同的。大家想象下，我们拍两张照片，切割掉衣服、肩膀，就剩一张脸——你甚至连喉结都看不到。 然后呢，人识别两张照片是一个0/1选项，是或者不是；但是计算机不一样啊，它识别的是两张照片的相似度，比如相似度60%，或者相似度76%。换句话说，人天然不适合定量，你看两张照片，作为人类，你不好判断说，嘿，这两张照片有87.456%的相似度，所以是一个人！但是计算机很流氓啊，他先验知识可以知道，某种类型的照片，当相似度超过AAA的时候有99.9999%的置信度是同一个人。计算机得到相似度就能判断是不是一个人。 第三呢，我们人类的识别能力受很多因素的影响——比如你昨晚撸过头了、比如识别的是汉族人还是藏族人还是黑人。想想大家看外国电影的时候，各种分不清演员就很容易理解了——我小时候经常觉得曼德拉跟弗里德曼是一个人——还都有个曼字呢？ 所以，说计算机识别能力超越人类，是一个有极大局限条件下的结论； 第一是特定类型的照片，而不是日常我们经常会遇到识别的场景 第二是平均而言，假设在上述特定类型照片下，我们如果只识别本民族的人，不见得比算法差——我个人判断会好很多 第三计算机预先对某种类型的照片的相似度有先验判断，如果你随机拿潮女自拍效果的照片过去，可能当前所有算法都会吐血身亡，不具备稳定性和普遍适用性。因为有些照片我们判断是同一个人的相似度阈值是60的时候置信度就够高，有些相似度阈值要90才可靠。 换个环境，就废了，这个问题可能会在模式识别领域未来很长时间内无法解决。 但是，在特定环境下，计算机识别人脸比人类更有优势，这个结论在2006年的FRVT就已经存在了——莫非那个时代科技博客还不流行现在的科技博客就可以乱说了？ 如图是2006的数据啊，看起来至少清华当时是全面超过人眼啊。 我说的一半可能是错了，我也不知道错的是哪一半。 PS:关于题主关注的这个算法是不是出类拔萃的问题，我个人持保留态度。我个人估计是因为他拥有巨大的一个训练库，20000个人，接近100000张照片。而其他人可能只有LFW的训练集。在高度依赖数据的时代，这20000个人会带来较高的提升。并不能证明算法的鹤立鸡群。

更新：经过讨论和看其他人的答案，我对这篇文章的判断很可能是错的 我现在是一个码农，科研离我很远了~ ***************************************************************************** 这篇文章作为一个technical report发在arxiv上，其实没有经过严格的同行评审； 文章的摘要里写的很清楚，只针对LFW一个数据集，“第一次击败人类”的表述，不准确，不科学； 如果真的有那么牛，这篇文章会出现在CVPR, ICCV, ECCV三大顶级会议上； 从摘要看，文章提出的方法和现有方法相比没有本质的区别，也许有一些新feature可以在一些测试集上跑出比较好的结果； Tang xiaoou是业内大牛，如果他认为这篇文章是technical report水平，那么就是，否则他不会放过一篇CVPR的机会的。 ****************************************************************************** 关于“超越人类”，讲一个CV圈里老掉牙的故事吧。 CV的目标是摘月亮，现在我们爬到了树上，然后我们说：“看！我们离目标又近了一步~” 共勉。

1 作者个人能力很强，高斯过程在机器学习领域热了2，3年即被抛弃。但作者能在这个冷方向作出突破，不易。 2 他们有一个很大的人脸库做训练，这对提高性能非常重要。这种库一般组没能力采集。

个人认为这篇文章的训练要优于之前世界前几名的facebook或face++，不得不承认，没有一个大的数据库会使认证率降低，但是这篇文章的训练库数量级远小于facebook和face++的数量级，这是一个很大的进步。如果全球只有个别的实验室可以做这些实验，其他小型的实验室的存在还有意义吗？

有人质疑这个papar,我说真的，唐笑鸥的水平我觉得他还是没必要弄虚作假的。 为什么？其实很难说清楚。讲道理CNN的理论现在你可以认为是一片空白。比如为什么在imageNet上CNN会做得比人好，我只能说，鬼知道。反正他试验出来就是好。 还有为什么发在Arxiv上。。。讲道理，你看看google,microsoft这些公司，尤其是google，多少文章发在Arxiv上的，因为快啊。 还有，不用怀疑CNN在人脸识别上的能力，国内都有API了，叫face++，这还是我去年看到的。

补充个有趣的链接：人脸识别心理实验（前面的介绍很全面） 后面的测试题到第3-4关难度就很高了。

[h1]人脸识别[/h1]我们可以为您提供人脸识别服务，例如，计算两张人脸的相似度，从特定的数据库中找出与给定人脸匹配的人脸等，准确度高达99.65%。这项服务可以使用在门禁系统、考勤系统、摄像监控系统中，也可以应用在照片分类等场景中。 [h1]活体检测[/h1]在金融等安全性要求高的使用场景下，您可能需要检测当前用户是否为真人。我们为您提供活体检测功能，有效分辨照片、静态#D模型、视频等仿冒欺诈行为。独创基于随机验证码的唇语活体检测，安全性远远高于眨眼、摇头、去路等方案，用户几乎无法破解，也不受方言和语种的影响。