NormFace--L2 hypersphere embedding for face Verification

前言

文献来源:NormFace: L2 Hypersphere Embedding for Face Verification

文章总结:

  1. 提出了mirror trick,用于人脸验证
  2. 对$f$, $w$标准化,在训练时不会收敛到很小的值。
  3. 以$w_(y_i)$作为$y_i$这个class的agent

人脸识别

与普通分类任务不同,人脸识别还需要考虑人脸验证这个环节,因而增大类类间距,减小类内间距是人脸识别的主要任务。目前人脸识别解决方案主要是两种思路。

Metric Learning

度量学习尝试去学习特征之间距离度量方式并直接嵌入使用。常见的Contrastive Loss, Triplet Loss。

Margin Based Classification

以添加强间距的方式进行分类学习。如Center Loss等。

Softmax Loss缺陷

  1. softmax会让易区分的feature拥有更大的norm,因norm越大,对应loss越小。

    对于no-bias的softmax loss,设$P_i(f)=\frac{e^{w_i^Tf}}{\sum_{j=1}^ne^{w_j^Tf}}$表示x被分类到$i$的概率。给定$s>1$,若$i=\arg \max_j(w_j^Tf)$,则$P_i(sf)\geq P_i(f)$恒成立。

  2. 在人脸验证中通常采用的是归一化余弦相似度,而softmax loss训练中并未对feature,$w$进行归一化。

Feature Norm

  1. 标准化feature与$w$,若保留softmax loss中偏秩项$b$会破坏特征分布。
  2. 特征$x$与其梯度方向$\frac{\partial L}{\partial x}$正交。反向传播后,特征$x$更新为$x+\alpha \frac{\partial L}{\partial x}$,即$||x||_2$会不断增大。
  3. 仅仅对feature与$w$进行标准化操作,虽然可以统一cosine similarity与softmax的出入,但是在训练过程中发现,loss无法收敛到较小值。通过证明,对feature与norm标准化为$l$大小,softmax loss最小值为

$$
\log(1+(n-1)e ^{- \frac{n}{n-1}l^2})
$$

​ 因而,norm标准化值$l$越大,对应loss下界越小。

  1. 修正后损失函数为

$$
L=- \frac{1}{m}\sum_{i=1}^{m}\log\frac{e^{s{\hat w_{y_i}^T}{\hat f_i}}}{\sum_{j=1}^ne^{s{\hat w_{y_j}^T}{\hat f_j}}}
$$

  1. 标准化后的余弦距离与欧氏距离是统一的。
  2. 以$w_(y_i)$作为$y_i$这个class的agent

测试

基于LFW数据集的两种测试方式。

  1. unrestricted with labeled outside data,即6000pairs测试。
  2. BLUFR,利用LFW全部13233张图片。

本文标题:NormFace--L2 hypersphere embedding for face Verification

文章作者:Lumo Wang

发布时间:2018年12月01日 - 16:12

最后更新:2018年12月07日 - 13:12

原始链接:https://luameows.github.io/2018/12/01/论文笔记-normface/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请我喝杯咖啡,我会继续熬夜的~