Additive Margin Softmax for Face Verification

文献来源:Amsoftmax

代码实现:luameows/amsoftmax

文章总结:

  1. 提出amsoftmax loss
  2. 标准化系数$s$设置为定值,而不是通过学习获得
  3. feature norm可以让网络更关注低质量图片
  4. 采用mirror trick以增加特征鲁棒性

AMSoftmax Loss

损失函数公式如下
$$
L_{AMS}=-\frac{1}{n}\sum_{i=1}^n\log\frac{e^{s(\cos\theta_{yi}-m)}}{e^{s(\cos\theta_{yi}-m)}+\sum_{j=1}^me^{s\cos\theta_j}}
$$
即对输出$feature$与权重$w$进行标准化后,设置间距项$margin: m$。

注:$s$被设置为定值而非可学习参数。

再谈feature norm

L2-softmax loss论文中提出,feature norm的值与图片质量有关。根据反向传播法则,归一化之后,低质量图片由于拥有较小的feature norm,因而拥有较大的梯度,即网络会更关注低质量图片。这类似于hard sample mining

mirror trick

将原始图片与其水平镜像后的图片输入网络,提取特征,选取对应元素最大值构造新的特征。

问题

在自己网络上实现时,发现train loss远高于val loss,且val loss走势非常理想。该部分原因尚未查明。

本文标题:Additive Margin Softmax for Face Verification

文章作者:Lumo Wang

发布时间:2018年12月03日 - 15:12

最后更新:2018年12月09日 - 16:12

原始链接:https://luameows.github.io/2018/12/03/论文笔记-amsoftmax/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请我喝杯咖啡,我会继续熬夜的~