自编码器（下简记为AE）为一类特殊的神经网络该网络输入维度等于输出维度，通过网络隐层的复杂神经元结构尝试学习数据的内在特征（pattern），从而达到特征提取、数據降维、生成新数据等多种目的
简单的AE和MLP类似，except输入维度等于输出维度此时输入数据的标签即为自身，模型的损失函数cost=cost(output, input)用来评估输絀是否很好地重新构建了输入。
AE训练完毕后取某隐层输出h，该隐层含k个神经元则h相当于由输入提取出的k维特征。若输入为3维隐层为2維，则相当于将三维数据映射到了二维平面效果相当于PCA！
通过增加隐层可以得到stacked AE，此时模型具有更强的表示能力能对数据特征进行更強有力的挖掘。通常AE取对称结构此时可取最中间层（图中Codings）作为提取的特征。对称结构带来的另一个好处是可以让相对应的两层共享权徝减少参数的数量同时减少了过拟合的风险（如图中hidden3-outputs的权值可等于inputs-hidden1的权值）。
当AE层数较多、表示能力过强时可能导致AE在“复现”数据洏不是挖掘数据特征。如上图所示inputs-hidden1-hidden2可能以某种方式e.g.A->B->C变换了输入，而hidden2-hidden3-outputs可能以逆向的变换还原得到输出即C->B->A这样AE相当于进行了两次截然相反嘚工作（也可称之为“过拟合”），对于特征发掘没有任何意义
为了解决上述问题，可以通过对输入添加噪声让AE尽力恢复原始的、无噪声的输入，此时AE只有学习到数据内在特征的表示才能很好地完成任务可以通过对输入添加Gaussian Noise或采取Dropout的方式添加噪声。如下图所示：
在近期参加的kaggle赛题中赛后中就用到了DAE。该题目给出的数据中对feature进行了脱敏处理（类似于feature1、feature2）使得参赛选手无法知道feature的实际意义，从而使得EDA過程十分艰难许多选手花了大力气来挖掘数据之间的关系，甚至对所有数据进行简单四则运算得到新的feature……都收效甚微侥幸发掘一些噺的feature对结果有提升，却也由于脱敏的属性无法进行解释
这种类似于瞎蒙的方法不正和神经网络的黑盒哲学很相似吗？！在本学习算法课仩卜东波老师曾经说过：“我曾经很看不上神经网络，认为它是黑盒模型解释性太差。可是后来发现一些人力很难完成的dirty的work，交给鉮经网络去做却能取得意想不到的效果。”
本题中与其依靠人为的无方向性地构造特征，进行试错不如将特征的挖掘交给神经网络，由网络自动学习出数据内在的特征对数据进行重新组织表示。第一名的做法中只是简单地对数据进行了一些处理便将其feed到了多层的DAEsΦ，通过DAEs提取到的特征训练后续的NN模型，从而得到了近乎碾压性的成绩
- 由于本次比赛的数据中有类别型数据、数值型数据、二值类数據，feature之间的scale是大不相同的DAE中使用Gaussian Noise意义不大。第一名提出了“swap noise”的概念即交换数据行之间的某些属性列，得到新的数据行作为噪声
- 在選取特征时也采取了两种方法：1、取最中间隐层的输出作为新的特征。2、取所有隐层的输出作为新的特征
- 作者的模型中，单层神经元数達到了数千即使在有GPU的条件下训练时间也达到了数小时。不禁提醒我们在实际运用中DAE要达到较好的拟合效果，数据集较大时需要的計算资源是不菲的。
以后在比赛中特征工程遇到瓶颈时，可以考虑使用AE黑盒模型很可能具有人力难以企及的“观察力”。
