㈠ 自动编码器的作用
自编码器的一个典型应用是特征降维，和PCA的作用一样，但是比PCA的性能更强。可以想这样一个场景：我们要训练一个CNN模型，这个模型最终可以识别猫、狗、船等，那么我们需要给它喂入大量的猫狗等图像，假如这些图像都是高清的，即数据维度很大，那么CNN训练的时间就会变长。这时候需要将图片压缩一下，我们当然可以考虑使用图像压缩算法，这里只是举一个例子，如果某些数据集不是图片，如何压缩呢？答案可以使用自编码器，自编码器可以将高维的数据特征用一个低维的特征来表示，自编码器的作用是通过编码器只学习其典型特征（维度降低了），该特征通过解码器可以大致复原原来的数据即可。这样再将这个学习到的低维特征输入到相应的神经网络中，可以大大减少训练的时间。
在实际应用中，我们训练好自动编码器后，一般只使用其编码器部分，从而获得低维的数据。再将这个数据输入到其它分类模型中进行训练。
㈡ 智能船舶自编码运算的场景
自然场景。
1、分级和分类标准主要根据智能船舶自编码运算、应用自然场景及智能化功能对所涉及的相关系统设备进行分类。
2、自编码神经网络是一种无监督学习算法，它使用了反向传播算法。
㈢ 深度学习有人了解吗，可以介绍一下吗
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术，
主要涉及三类方法： [2]
(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)。 [2]
(2)基于多层神经元的自编码神经网络，包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。 [2]
(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。
区别于传统的浅层学习，深度学习的不同在于： [4]
(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； [4]
(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。
典型的深度学习模型有卷积神经网络( convolutional neural network)、DBN和堆栈自编码网络(stacked auto-encoder network)模型等
㈣ 解析Variational AutoEncoder（VAE）
数月前听在做推荐系统的同事提了一下VAE这个模型，因为以前没用过,出于好奇便稍微研究了一下.虽然从深度学习的角度去看并不复杂,但是发现从贝叶斯概率的视角去理解并不是那么显然。
鉴于这是备受推崇的两大深度生成模型之一，想必会有可取之处。加之从我个人的思维习惯和直觉来看,这东西十分颇有深意,于是早就想来说道说道这个东西,然后因为前段时间一直一回家就提不起劲什么的,在拖了这么久之后总算有了这篇文章.
在说VAE之前，先来看一下它的前身AutoEncoder(AE).
AE是非常知名的自编码器，它通过自监督的训练方式，能够从原始特征获得一个潜在的特征编码，实现了自动化的特征工程，并且达到了降维和泛化的目的。
它的网络结构很简单，有编码和解码两个部分组成：
容易看出，之所以是自监督就是因为网络的target即是input本身，因此不需要额外的标签工作，虽然它由编码器和解码器两个部分组成，但是，显然从自编码器这个名字就可以看出，AE的重点在于编码，即得到这个隐藏层的向量，作为input的潜在特征，这是常见的一种embedding的一种方式。而解码的结果，基于训练目标，如果损失足够小的话，将会与input相同，从这一点上看解码的值没有任何实际意义，除了通过增加误差来补充平滑一些初始的零值或有些许用处。因为，从输入到输出的整个过程，都是基于已有的训练数据的映射，尽管隐藏层的维度通常比输入层小很多，但隐藏层的概率分布依然只取决于训练数据的分布，这就导致隐藏状态空间的分布并不是连续的，于是如果我们随机生成隐藏层的状态，那么它经过解码将很可能不再具备输入特征的特点，因此想通过解码器来生成数据就有点强模型所难了。
正是因为以上的这些原因，有大佬就对AE的隐藏层做了些改动，得到了VAE。
VAE将经过神经网络编码后的隐藏层假设为一个标准的高斯分布，然后再从这个分布中采样一个特征，再用这个特征进行解码，期望得到与原始输入相同的结果，损失和AE几乎一样，只是增加编码推断分布与标准高斯分布的KL散度的正则项，显然增加这个正则项的目的就是防止模型退化成普通的AE，因为网络训练时为了尽量减小重构误差，必然使得方差逐渐被降到0，这样便不再会有随机采样噪声，也就变成了普通的AE。
没错，我们先抛开变分，它就是这么简单的一个假设... 仔细想一下，就会觉得妙不可言。
它妙就妙在它为每个输入 , 生成了一个潜在概率分布 ,然后再从分布中进行随机采样，从而得到了连续完整的潜在空间，解决了AE中无法用于生成的问题。
《论语》有言：“举一隅，不以三隅反，则不复也。” ，给我的启发就是看事物应该不能只看表面，而应该了解其本质规律，从而可以灵活迁移到很多类似场景。聪明人学习当举一反三，那么聪明的神经网络，自然也不能只会怼训练数据。如果我们把原始输入 看作是一个表面特征，而其潜在特征便是表面经过抽象之后的类特征，它将比表面特征更具备区分事物的能力，而VAE直接基于拟合了基于已知的潜在概率分布，可以说是进一步的掌握了事物的本质。
就拿一个人的某个行为来说，我们不能单纯看行为本身，因为这个行为往往代表了他的综合特性，他从出生开始，因为遗传，后天教育和环境，决定了他在面对某种情形的情况下，高概率会产生这个行为，也就是说掌握了概率分布，就掌控了一切。
读了上面的内容之后，你应该对VAE模型有了一个较为直观和感性的认知，但是可能会疑惑所谓的变分到底在哪里？
放心，变分并没有被作者吃掉，接下来，我们就从变分推断的角度，对VAE进行一个理性的推导。有了上面的基础，再读下面的内容时就会轻松愉快很多。
变分自编码器（VAE） 的想法和名字的由来便是变分推断了，那么什么是变分推断呢？
变分推断是MCMC搞不定场景的一种替代算法，它考虑一个贝叶斯推断问题，给定观测变量 和潜变量 , 其联合概率分布为 , 目标是计算后验分布 .然后我们可以假设一个变分分布 来自分布族 ，通过最小化KL散度来近似后验分布 :
这么一来，就成功的将一个贝叶斯推断问题转化为了一个优化问题~
有了变分推断的认知，我们再回过头去看一下VAE模型的整体框架，VAE就是将AE的编码和解码过程转化为了一个贝叶斯概率模型：
我们的训练数据即为观测变量 ， 假设它由不能直接观测到的潜变量 生成， 于是，生成观测变量过程便是似然分布： ，也就是解码器，因而编码器自然就是后验分布： .
根据贝叶斯公式,建立先验、后验和似然的关系：
接下来，基于上面变分推断的思想，我们假设变分分布 , 通过最小化KL散度来近似后验分布 ，于是，最佳的 便是：
因为训练数据 是确定的，因此 是一个常数，于是上面的优化问题等价于：
此时，优观察一下优化方程的形式...已经是我们前面所说的VAE的损失函数了~~
显然，跟我们希望解码准确的目标是一致的。要解码的准，则 应该尽可能的小，编码特征 的分布 同 尽可能的接近，此时恰好 和 都尽可能的小，与损失的优化的目标也一致。
正如前面所提到的AE潜变量的局限性，我们希望VAE的潜变量分布 应该能满足海量的输入数据 并且相互独立，基于中心极限定理，以及为了方便采样，我们有理由直接假设 是一个标准的高斯分布 .
我们先来看一下编码部分，我们希望拟合一个分布 尽可能接近 ， 关键就在于基于输入 计算 和 , 直接算有点困难，于是就使用两个神经网络 和 来无脑拟合 和 。
值得一提的是，很多地方实际使用的 、 两部分神经网络并不是独立的，而是有一部分交集，即他们都先通过一个 映射到一个中间层 , 然后分别对 计算 和 . 这样错的好处的话一方面是可以减少参数数量，另外这样算应该会导致拟合的效果差一些，算是防止过拟合吧。
解码，即从潜变量 生成数据 的过程，在于最大化似然 ，那这应该是个什么分布呢？通常我们假设它是一个 伯努利分布 或是 高斯分布 。
我勒个去，凭什么是这两个分布... 这个比较无解..只能伯努利分布十分简单，熟悉的人也多，高斯分布呢又太接近大自然了...关键用起来又方便....
知道了分布类型，那计算 最小值其实只要把分布公式带进去算就可以了..
然后，将编码和解码部分组合到一起，就形成了完整的VAE网络。
训练的时候似乎出了点问题。从编码得到的分布 随机采样 的这个过程没法求导，没法进行误差反向传播....
都推到这了你跟我说没法训练？？？ 差点喷出一口老血...
好在这里可以使用一个叫做 重参数（reparametrisation trick） 的技巧：
真是妙呀，这样一来将采样变成了一个数值变换，整个过程便可导了~~~
这样，训练好模型之后，我们可以直接将解码部分拿出来，通过标准高斯分布随机采样源源不断的生成数据了。
下面仅代表我个人的一些直觉和思考，姑且一看，或代表了一种发展的方向。
VAE中使用神经网络来拟合高斯分布的想法独树一帜，对很多任务能带来启发。神经网络在特征化训练数据的过程无异于海量数据的管中窥豹，但是想要让模型超脱于豹，而像人一样产生对相似的猫、老虎...之类的概念，VAE的这种思想颇有一些意味。
㈤ 网络编码是什么
network coding
传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发器的角色。长期以来，人们普遍认为在中间节点上对传输的数据进行加工不会有任何收益，然而R Ahlswede等人[1]于2000年提出的网络编码理论彻底推翻了这种传统观点。 网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。根据图论中的最大流-最小割定理[2]，数据的发送方和接收方通信的最大速率不能超过双方之间的最大流值(或最小割值)，如果采用传统多播路由的方法，一般不能达到该上界。R Ahlswede等人以蝴蝶网络的研究为例，指出通过网络编码，可以达到多播路由传输的最大流界，提高了信息的传输效率，从而奠定了网络编码在现代网络通信研究领域的重要地位。
㈥ 变分自编码 为什么要使用kl三幅
autoencoders作为一种非常直观的无监督的学习方法是很受欢迎的，最简单的情况是三层的神经网络，第一层是数据输入，第二层的节点数一般少于输入层，并且第三层与输入层类似，层与层之间互相全连接，这种网络被称作自动编码器，因为该网络将输入“编码”成一个隐藏代码，然后从隐藏表示中“译码”出来。通过简单的测量重构误差和反传网络参数能够很好的训练该类网络。
㈦ 一文搞懂变分自编码器(VAE, CVAE)
变分自编码器与对抗生成网络类似，均是为了解决数据生成问题而生的 。在自编码器结构中，通常需要一个输入数据，而且所生成的数据与输入数据是相同的。但是通常希望生成的数据具有一定程度的不同，这需要输入随机向量并且模型能够学习生成图像的风格化特点，因此在后续研究中以随机化向量作为输入生成特定样本的对抗生成网络结构便产生了。变分自编码器同样的以特定分布的随机样本作为输入，并且可以生成相应的图像，从此方面来看其与对抗生成网络目标是相似的。但是变分自编码器不需要判别器，而是使用编码器来估计特定分布。总体结构来看与自编码器结构类似，但是中间传递向量为特定分布的随机向量， 这里需要特别区分：编码器、解码器、生成器和判别器
先假设一个隐变量Z的分布，构建一个从Z到目标数据X的模型，即构建 ，使得学出来的目标数据与真实数据的概率分布相近
VAE的结构图如下：
VAE对每一个样本 匹配一个高斯分布，隐变量 就是从高斯分布中采样得到的。对 个样本来说，每个样本的高斯分布假设为 ，问题就在于如何拟合这些分布。VAE构建两个神经网络来进行拟合均值与方差。即 ，拟合 的原因是这样无需加激活函数
此外，VAE让每个高斯分布尽可能地趋于标准高斯分布 。这拟合过程中的误差损失则是采用KL散度作为计算，下面做详细推导：
VAE与同为生成模型的GMM(高斯混合模型)也有很相似，实际上VAE可看成是GMM的一个 distributed representation 的版本。GMM是有限个高斯分布的隐变量 的混合，而VAE可看成是无穷个隐变量 的混合， VAE中的 可以是高斯也可以是非高斯的
原始样本数据 的概率分布:
假设 服从标准高斯分布，先验分布 是高斯的，即 。 是两个函数， 分别是 对应的高斯分布的均值和方差，则 就是在积分域上所有高斯分布的累加：
由于 是已知的， 未知，所以求解问题实际上就是求 这两个函数。最开始的目标是求解 ，且希望 越大越好，这等价于求解关于 最大对数似然：
而 可变换为：
到这里我们发现，第二项 其实就是 和 的KL散度，即 ，因为KL散度是大于等于0的，所以上式进一步可写成：
这样就找到了一个下界(lower bound)，也就是式子的右项，即：
原式也可表示成：
为了让 越大，目的就是要最大化它的这个下界
回顾 ：
显然，最大化 就是等价于最小化 和最大化 。
第一项，最小化KL散度 ：前面已假设了 是服从标准高斯分布的，且 是服从高斯分布 ，于是代入计算可得：
对上式中的积分进一步求解， 实际就是概率密度 ，而概率密度函数的积分就是1，所以积分第一项等于 ；而又因为高斯分布的二阶矩就是 ，正好对应积分第二项。又根据方差的定义可知 ，所以积分第三项为-1
最终化简得到的结果如下：
第二项，最大化期望 。也就是表明在给定 （编码器输出）的情况下 （解码器输出）的值尽可能高
重参数技巧 ：
最后模型在实现的时候，有一个重参数技巧，就是想从高斯分布 中采样 时，其实是相当于从 中采样一个 ，然后再来计算 。这么做的原因是，采样这个操作是不可导的，而采样的结果是可导的，这样做个参数变换， 这个就可以参与梯度下降，模型就可以训练了
在条件变分自编码器(CVAE)中，模型的输出就不是 了，而是对应于输入 的任务相关数据 ，不过套路和VAE是一样的，这次的最大似然估计变成了 ，即：：
则 ELBO(Empirical Lower Bound) 为 ，进一步：
网络结构包含三个部分：
㈧ tensorflow中有自动编码器网络么
自编码器是利用神经网络提取出图像中的高阶特征，同时可以利用高阶特征重构自己
如果向原图中添加噪声，则可以通过高阶特征的提取，对原始图像进行去噪！