⑴ 移動端網路架構匯總
本文主要介紹移動端網路架構中常用模塊深度可分離卷積、分組卷積和Ghost模塊的原理，並匯總對應相關網路的性能。
1.深度可分離卷積系列
mobilenet v1網路將普通卷積轉換為depthwise seperable卷積計算和pointwise卷積計算兩部分；如圖1所示
其中速度加速比約為卷積核的平方
mobilenet v2在v1基礎上提出線性bottleneck和逆殘差連接，如圖2所示，首先通過1x1卷積升維，然後做非線性操作，然後通過depthwise卷積操作，然後再通過1x1卷積降維，最後通過殘差操作連接，其中線性bottleneck避免非線性操作引起的特徵丟失。
mobilenet v3在v2基礎上進一步增加squeeze and exciate模塊,如圖3所示，並通過網路架構搜索方式得到最終網路架構。
efficient 網路在base基礎網路基礎上，對圖像解析度、網路寬度、網路層數等三個要素進行組合搜索確定最優網路架構。
2.分組卷積
分組卷積中將輸入特徵分組，輸出特徵點輸出只取決一組特徵，如圖4所示; 速度加速比和參數壓縮比取決於分組數目。
shuffnet v2認為網路推理速度不僅取決於網路計算量(Flops),仍需考慮內存佔用量，並據此設計網路架構。
RegNet基於統計准則，不斷優化網路架構超參數，並將其轉換為線性函數表示，得到不同計算量下的最優網路架構。
3.GhostNet模塊
GhostNet模塊將普通卷積轉換為兩部分計算，首先通過普通卷積得到少量原始特徵，進一步通過廉價操作獲取更多幻影特徵，然後將原始特徵和幻影特徵組合得到最終特徵。如圖所示：
最終速度加速比和參數壓縮比取決於普通卷積輸出特徵數和選取原始特徵數目比值
速度加速比
參數壓縮比
4.不同網路架構性能匯總對比