簡介
(1)第一個空間注意力模型,取得2017ImageNet分類比賽第一;
(2)即插即用模組,可嵌入到基準網路中(如ResNet,Inception等);
(3)程式碼開源:(Caffe)https://github。com/hujie-frank/SENet
(4)PyTorch:https://github。com/moskomule/senet。pytorch
(5)Tensorflow:https://github。com/taki0112/SENet-Tensorflow
模型
SENet的全稱是Squeeze-and-Excitation Networks,主要包含兩部分:
Squeeze:原始feature map的維度為H*W*C,其中H是高度(Height),W是寬度(width),C是通道數(channel)。Squeeze做的事情就是將原始特徵圖H*W*C壓縮為1*1*C的響應圖(一般採取Global Average Pooling實現)。H*W壓縮成一維後,相當於這一維引數獲得了之前H*W全域性的視野,感受區域更廣;
Excitation:得到Squeeze的1*1*C的響應圖之後,其加入一個全連線層FC(Fully Connected),對每個通道的重要性進行預測,得到不同加權的通道後再激勵到之前的特徵圖的對應通道上,再進行後續操作。
SENet block結構如下圖所示:
SENet block
SENet block也可用於其他CNN網路中如Inception,ResNet等,結構圖如下所示:
SE-Inception Module
SE-ResNet Module
SENet Block程式碼:
SENet Block