如何用FCN网络分割图像

① fcn，是什么意思

什么东西的fcn，这是缩写，可以代表很多意思。最基本的意思是function，功能

② 外企 fcn 是什么职位

fcn是fully convolutional networks的英文缩写。翻译为“完全卷积网络”，外企 fcn是网络编程职位。

FCN对图像进行像素级的分类，从而解决了语义级别的图像分割（semantic segmentation）问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类（全联接层＋softmax输出）不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。

最后逐个像素计算softmax分类的损失, 相当于每一个像素对应一个训练样本。下图是Longjon用于语义分割所采用的全卷积网络(FCN)的结构示意图：

缺点

在这里我们要注意的是FCN的缺点：

③ caffe下训练fcn进行图像分割mean iu指的是什么意思

这个还是比较好区分的。首先说边缘检测，边缘检测是通过图像的梯度变化将图像中梯度变化明显的地方检测出来，针对的是边缘信息。图像分割是将目标分割出来，针对的是目标对象，边缘检测是空间域图像分割的一种方法，属于包含关系

④ 如何理解空洞卷积

dilated conv，中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景[4]，再解释dilated conv操作本身，以及应用。
首先是诞生背景，在图像分割领域，图像输入到CNN（典型的网络比如FCN[3]）中，FCN先像传统的CNN那样对图像做卷积再pooling，降低图像尺寸的同时增大感受野，但是由于图像分割预测是pixel-wise的输出，所以要将pooling后较小的图像尺寸upsampling到原始的图像尺寸进行预测（upsampling一般采用deconv反卷积操作，deconv可参见知乎答案如何理解深度学习中的deconvolution networks？），之前的pooling操作使得每个pixel预测都能看到较大感受野信息。因此图像分割FCN中有两个关键，一个是pooling减小图像尺寸增大感受野，另一个是upsampling扩大图像尺寸。在先减小再增大尺寸的过程中，肯定有一些信息损失掉了，那么能不能设计一种新的操作，不通过pooling也能有较大的感受野看到更多的信息呢？答案就是dilated conv。

⑤ fcn网络用什么软件制作自己的图像分割语义标签

有两种方法：
1）可制作两个lmdb文件，一个Data项是原始图像，Label可为0，另一个Data项为分割后的标注图像，Label为0。使用中caffe是支持多个lmdb输入的。
2）将原始图像(如3通道)，标注图像(1通道)，合在一起成4通道，然后写在一个lmdb中，然后导入后使用Slice层将其切开。这种方法就不能直接使用现有的convert_imageset来转换了，可参考其实现自己写一下。

⑥ matlab如何调用fcm函数处理一副图像。 不是查看fcm函数，算法我已经了解了，我只是不知道

data = rand(100, 2);
[center,U,obj_fcn] = fcm(data, 2);
plot(data(:,1), data(:,2),'o');
maxU = max(U);
index1 = find(U(1,:) == maxU);
index2 = find(U(2, :) == maxU);
line(data(index1,1),data(index1, 2),'linestyle','none',...
'marker','*','color','g');
line(data(index2,1),data(index2, 2),'linestyle','none',...
'marker', '*','color','r');

⑦ 如何分析一个图像分割算法

论文阅读笔记：图像分割方法deeplab以及Hole算法解析

deeplab发表在ICLR 2015上。论文下载地址：Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS.
deeplab方法概述
deeplab方法分为两步走，第一步仍然采用了FCN得到 coarse score map并插值到原图像大小，然后第二步借用fully connected CRF对从FCN得到的分割结果进行细节上的refine。
下面这张图很清楚地展示了整个结构：

然后这张图展示了CRF处理前后的效果对比，可以看出用了CRF以后，细节确实改善了很多：

deeplab对FCN更加优雅的处理方式
在第一步中，deeplab仍然采用了FCN来得到score map,并且也是在VGG网络上进行fine-tuning。但是在得到score map的处理方式上，要比原FCN处理的优雅很多。
还记得CVPR 2015的FCN中是怎么得到一个更加dense的score map的吗？ 是一张500x500的输入图像，直接在第一个卷积层上conv1_1来了一个100的大padding。最终在fc7层勉强得到一个16x16的score map。虽然处理上稍显粗糙，但是毕竟人家是第一次将图像分割在CNN上搞成end-to-end，并且在当时performance是state-of-the-art，也很理解。
deeplab摒弃了这种做法，取而代之的是对VGG的网络结构上做了小改动：将VGG网络的pool4和pool5层的stride由原来的2改为了1。就是这样一个改动，使得vgg网络总的stride由原来的32变成8，进而使得在输入图像为514x514，正常的padding时，fc7能得到67x67的score map, 要比FCN确实要dense很多很多。
但是这种改变网络结果的做法也带来了一个问题： stride改变以后，如果想继续利用vgg model进行fine tuning，会导致后面filter作用的区域发生改变，换句话说就是感受野发生变化。这个问题在下图(a) (b)中通过花括号体现出来了:
Hole算法
于是乎，作者想出了一招，来解决两个看似有点矛盾的问题：
既想利用已经训练好的模型进行fine-tuning，又想改变网络结构得到更加dense的score map.
这个解决办法就是采用Hole算法。如下图(a) (b)所示，在以往的卷积或者pooling中，一个filter中相邻的权重作用在feature map上的位置都是物理上连续的。如下图(c)所示，为了保证感受野不发生变化，某一层的stride由2变为1以后，后面的层需要采用hole算法，具体来讲就是将连续的连接关系是根据hole size大小变成skip连接的（图(c)为了显示方便直接画在本层上了）。不要被(c)中的padding为2吓着了，其实2个padding不会同时和一个filter相连。
pool4的stride由2变为1，则紧接着的conv5_1, conv5_2和conv5_3中hole size为2。接着pool5由2变为1, 则后面的fc6中hole size为4。

代码
主要是im2col(前传)和col2im(反传)中做了改动 (增加了hole_w, hole_h)，这里只贴cpu的用于理解：