Squeeze-and-Excitation Networks論文解讀

簡介

(1)第一個空間注意力模型,取得2017ImageNet分類比賽第一;

(2)即插即用模組,可嵌入到基準網路中(如ResNet,Inception等);

(3)程式碼開源:(Caffe)https://github。com/hujie-frank/SENet

(4)PyTorch:https://github。com/moskomule/senet。pytorch

(5)Tensorflow:https://github。com/taki0112/SENet-Tensorflow

模型

SENet的全稱是Squeeze-and-Excitation Networks,主要包含兩部分:

Squeeze:原始feature map的維度為H*W*C,其中H是高度(Height),W是寬度(width),C是通道數(channel)。Squeeze做的事情就是將原始特徵圖H*W*C壓縮為1*1*C的響應圖(一般採取Global Average Pooling實現)。H*W壓縮成一維後,相當於這一維引數獲得了之前H*W全域性的視野,感受區域更廣;

Excitation:得到Squeeze的1*1*C的響應圖之後,其加入一個全連線層FC(Fully Connected),對每個通道的重要性進行預測,得到不同加權的通道後再激勵到之前的特徵圖的對應通道上,再進行後續操作。

SENet block結構如下圖所示:

Squeeze-and-Excitation Networks論文解讀

SENet block

SENet block也可用於其他CNN網路中如Inception,ResNet等,結構圖如下所示:

Squeeze-and-Excitation Networks論文解讀

SE-Inception Module

Squeeze-and-Excitation Networks論文解讀

SE-ResNet Module

SENet Block程式碼:

Squeeze-and-Excitation Networks論文解讀

SENet Block

TAG: SENetSqueezeResNetinceptionhttps