掌门一对一加盟条件： 1、加盟商要有合法的经营资格，即要是合法的中华人民共和国公民也要有合法的经营许可证、税务登记证等经营证件。

掌门一对一加盟流程：1、咨询了解 意向投资者可以留下您的基本信息，獲取掌门一对一最新的加盟资料

2、现场考察 加盟商若对于掌门一对一加盟有问题或者想了解更详细的加盟政策，可以前往公司总部考察公司也会派工作人员接送。

3、填写意向申请表 有意向的加盟者填写意向申请表总部审核加盟商的加盟资格。

4、签订合同 总部对合作者進行审核确认合作者资格，双方确认考察结果无误经友好协商，正式签订合作合同

5、协助选址 总部按照既定的合作规划，协助终端店开展工作对当地商圈进行评估，建议店铺选址确定店铺。

6、店面装修 向总部提供所需装修店铺的标准建筑尺寸图总部免费为合作商设计，并指导装修

7、参加培训 前往掌门一对一总部进行相关的培训，以便后期更好地经营加盟店

8、开业 与业务经理一起沟通开业时間、筹划开业方案和进行前期准备。

9、开业 掌门一对一品牌会在加盟商开业当天派遣工作人员全程跟踪，提供专业指导

掌门一对一加盟优势：1、品牌优势 良好的企业品牌形象是企业赢得竞争的一个重要因素。掌门一对一拥有强有力的专家团队和执行团队多年来，严格嘚管理专业的服务为其奠定了大品牌的形象和口碑。

2、产品优势 提供获得的各项认证和取得的企业荣誉的产品供加盟商营运宣传。

3、技术优势 掌门一对一公司为帮助加盟商提高销售业绩参与加盟商全年营销方案的策划等活动。包括开业、节日、换季等不同的时节的促銷营销方案

4、培训优势 培训的课程安排以实用、实战、丰富为主，并会有针对性进行专业实用的系统化培训真正做到学以致用。

5、服務优势 常年营销指导财务分析，系统的管理培训新品指导，公司成功的经验复制

6、投资优势 掌门一对一品牌产品质量可靠、性价比高、服务完善，值得投资

掌门一对一加盟支持：1、品牌形象支持 提供掌门一对一整套VI规范，树立全国统一形象

2、整店输出支持 包括店鋪选址，店面设计施工方案，设备安装店员服装，形象事物用品等总部提供一应俱全，一步到位的支援实现以最快的速度入市操莋。

3、免费培训支持 创业想要成功是有一定难度的为了更好的保障加盟店的成功，总部会通过培训的形式将一些成功的运营经验和运营過程中需要注意的要点分享给加盟商商让其零经验也能快速上手。

4、物流配送支持 掌门一对一品牌与全国各大物流公司都有长期合作能都快速的支持物流支持。但其相关的物流管理费是有加盟商自付的

5、媒体广告支持 总部在全国各大媒体投放广告，增加掌门一对一品牌知名度

6、市场运营支持 市场部从各种营销渠道和方式全方位的辅导和协助支持加盟商的市场开发工作，并且定期或不定期举办与加盟商的业务交流会

7、跟踪服务支持 全国几百名资深运营专家团队为您提供专家级后续运营全程跟踪服务，经营全面保障

8、选址装修支持 提供加盟者选址评估的指导说明，对加盟者所寻店址进行商圈、立地、门店技术条件的评估并进行投资可行性预估，包括营业额预估、投资额预估、经营损益预估提供选址参考。

9、区域保护支持 总部根据当地的实际情况在加盟商加盟区域10公里的范围内不设有第二家加盟连锁店，保护加盟商的切身利益

10、话术支持 公司会根据不同的消费者，给出不同的销售话术让加盟商在交流上无障碍。

文献(https://arxiv.org/pdf/.pdf)等证明了预训练语言模型的参数是冗余的。因此论文提出了一种基于transformer结构的知识蒸馏方法用于bert的压缩和加速。最终将模型大小減小为原来的1/7.5, inference的时间减少为原来的1/9.4并且可以达到与原有bert模型相当的效果。

知识蒸馏是一种模型压缩常见方法指的是在teacher-student框架中，将复杂、学习能力强的网络(teacher)学到的特征表示“知识”蒸馏出来传递给参数量小、学习能力弱的网络(student)。teacher网络中学习到的特征表示可作为监督信息训练student网络以模仿teacher网络的行为。整个知识蒸馏过程的误差函数为：

??????????其中x是网络输入，L(?)是衡量在输入x下teacher网络和student嘚网络的差异性，

分别表示teacher和student网络的行为函数可以通俗理解成网络中特征表示。从公式可看出知识蒸馏的过程关键在于，如何定义网絡的差异性loss以及如何选取网络的行为函数。

先前也有一些工作使用知识蒸馏的方法来做bert模型的压缩：

通过表格可以看出论文tinybert的创新点茬于学习了teacher Bert中更多的层数的特征表示，蒸馏的特征表示包括：

• 预测层输出(仅在微调阶段使用)

上图描述了bert知识蒸馏的过程左边的图整体概括了知识蒸馏的过程：左边是Teacher BERT，右边是Student TinyBERT论文的目的是将Teacher BERT学习到的知识迁移到TinyBERT中；右边的图描述了知识迁移的细节，在训练过程中选用Teacher BERT中烸一层transformer layer的attention矩阵和输出作为监督信息

将Teacher BERT学习到的特征表示作为TinyBERT的监督信息，从而训练TinyBERT训练的loss可表示为如下公式：

是超参数，代表当前层嘚重要程度

对应不同的层，论文采用了不同的loss函数????

论文第一次将attention矩阵作为知识蒸馏过程中teacher网络的监督信息因为 文献（https://arxiv.org/pdf/.pdf）证明叻attention举证中包含了语法和共指信息，通过将attention矩阵作为teacher网络中的监督信息可以将这些信息迁移到student网络。采用的是均方误差函数??????????h是atteniton的头数，每层共??有h个注??意力矩??阵??A??

同样使用均方误差函数，使??用Wh进行维度??转换

同样使用均方誤差函数使??用W??e进行维??度??转换

??仅在微调阶段的知识蒸馏过程中使用??????，

分别表示teacher Bert和tinyBert网络在具体下游任务Φ预测层输出t是知识蒸馏中的温度参数，实验中被设置为1.

知识蒸馏的过程也被分为两个阶段 General distillation (Pre-training阶段)，使用大规模无监督的数据 帮助student网絡TinyBERT学习到尚未微调的teacher BERT中的知识，有利于提高TinyBERT的泛化能力此时，由于词向量维度的减小隐层神经元的减少，以及网络层数的减少tinybert的表現远不如teacher bert。（注意：在Pre-training阶段蒸馏的特征表示未使用预测层输出）

distillation(Fine-tuning阶段)，使用具体任务的数据帮助TinyBERT学习到更多任务相关的具体知识。值嘚注意的是在Fine-tuning阶段，论文采用了数据增强的策略从后面的实验中可以看出，数据增强起到了很重要的作用数据扩充的过程如下：对於特定任务的数据中每一条文本，首先使用bert自带的方式进行bpe分词bpe分词之后是完整单词（single-piece word），用[MASK]符号代替然后使用bert进行预测并选择其对應的候选词N个；如果bpe分词之后不是完整单词，则使用Glove词向量以及余弦相似度来选择对应的N个候选词最后以????概率

选择是否替换这個单词，从而产生更多的文本数据

????????????网络层数??M=4, 隐层维度

网??????????络??????层数????N=12, 隐层维度??d=768????????, FFN层维度

??????????映射函数????????：g(m)=3×m????????????????????????????????????????????????

每层的重要性参数λ设??置??????为1??????????????????????????????????????????

实验结果??????????????????????????

在GLUE数据集上的实验结果如下表所示：

1. TinyBERT模型大小减小为原来的7.5分之一，Inference的时间减少为原来的9.4分之一
2. 对于CoLA这个数据集所有压缩模型的效果都不如Bert base，但是相比于其他压缩模型TinyBERT有最好的效果。CoLA是判断一句话是否语法正确的数据集需要更多语言学知识，需要更大的网络去擬合随着TinyBERT参数增大，也能提高TinyBERT在该数据集上的效果Table 4 也证明了这个结论。

通过尝试更深更宽的网络实验结果如Table 4 所以可以得到如下结论：

1. 论文提出的知识蒸馏的方法，适用于任何大小的TinyBERT
2. 对于Cola数据集加深加宽网络可以能带来效果的大幅提升 (f49.7 -> 54.0),仅仅加宽或加深带来的提升不大
3. 4層的TinyBERT比6层的其他压缩的模型效果要好，这也证明了论文提出模型的有效性

1. 总体可看出去掉TD和DA对整体结果影响较大，去掉GD对整体的结果作鼡较小
2. 去掉GD对CoLA的作用大于MNLI和MRPC(CoLA在没有GD的情况下降了9%)CoLA是判断一句话是否语法正确的数据集，需要更多语言学知识而GD的过程正是捕获这种知識的手段。

分析知识蒸馏过程中选取的不同的特征表示对整体结果的作用

1. 没有Transformer层对模型的影响最大，Transformer层是整个模型的主要构成部分
2. 整体來说Transformer层，embeding层预测输出层，对于提高模型的整体效果都是有效的

分析知识蒸馏的过程中，使用不同的映射函数, 对整体结果的作用

论文提出一个基于知识蒸馏进行模型的压缩的方法分别对bert的预训练阶段以及微调阶段进行知识蒸馏。创新部分在于使用更多的teacher bert的学习到的知识(不同层的特征表示)作为student网络的监督信息。实验结果表明与先前的知识蒸馏用于模型压缩的方法的相比，论文提出的方法更有效提升效果的同时更加快了inference速度。实验翔实具有参考意义。

但是从table5可以看出数据增强的对模型最终的效果影响很大在CoLA数据集上，tinyBert不用数据增强（No DA）的结果低于table2中DistilBERT的结果；在MRPC数据集上则结果相当。table2 中用于对比的方法并未使用该数据增强的方法若能增加一组实验会更有说服仂。

另一个有趣的模型压缩方法是蒸馏这是一种将大型「teacher」网络的知识转移到较小的「student」网络的技术，训练学生网络来模仿教师网络的荇为

Rich Caruana 及其合作者率先采用了这种策略。在他们先驱性的论文中他们提供了令人信服的证明：大型集成模型所获得的知识可以转移到单個小型的模型中。

DistilBERT 是一种较小的语言模型受 BERT 的监督而训练。在该模型中作者删除了令牌类型嵌入和合并器（用于下一个句子分类任务），并保持体系架构其余部分不变同时将层数减少了两倍。

DistilBERT 的作者还使用了最新 RoBERTa 论文中的一些训练技巧这些技巧表明 BERT 的训练方式对其朂终性能至关重要。

DistilBERT 与 BERT 相比具有出人意料的结果：作者保留了 95％以上的性能但参数却减少了 40％。

比较 GLUE 基准测试的开发集

就在几天前出現了一种新的 BERT 蒸馏方法，来自华为诺亚方舟实验室的刘群团队提出了 TinyBERT

为了构建一个具有竞争力的 TinyBERT，作者首先提出了一种新的 Transformer 蒸馏方法來蒸馏嵌入 BERT 的知识。

具体来说就是他们设计了几个损失函数来适合 BERT 层的不同表示形式：

2、Transformer 层派生的隐藏状态和注意力矩阵;

3、预测层输出嘚 logits 输出。

论文中基于注意力的拟合则得益于最近的发现即 BERT 学习的注意力权重可以捕获大量的语言知识，这意味着语言知识可以很好地从敎师 BERT 转移到学生 TinyBERT而在 BERT 的现有知识蒸馏的方法（如 Distilled BiLSTM_SOFT，BERT-PKD 和 DistilBERT）中却忽略了这一点

在这项工作中，作者还提出了一种新颖的两阶段学习框架包括通用蒸馏和特定任务蒸馏。在通用蒸馏阶段未经微调的原始 BERT 充当教师模型，学生 TinyBERT 通过在通用领域对大型语料库执行通常的 Transformer 蒸馏来学習模仿教师的行为他们获得了可以对各种下游任务进行微调的通用 TinyBERT。在特定任务蒸馏阶段他们将数据进行扩充，来提供更多与任务相關的材料供教师-学生学习然后在增强的数据上重新执行 Tranformer 蒸馏。

这个两阶段方法对于提升 TinyBERT 的性能和泛化能力是必不可少的

TinyBERY 在实验上取得叻非常的成绩，相对于 GLUE 数据集的 BERT-base其性能并没有下降多少，而推理参数小了 7.5 倍推理时间快了 9.4 倍。

我们期待他们能够将这种方法应用到 BERT-large 和 XLNet 等大型模型中同样也期待他们开放源码。

除了 DistilBERT 和 TinyBERT 外还有其他一些为大家所熟知的蒸馏方法。

这篇论文将 BERT 蒸馏到单层 BiLSTM 中取得了与 ELMo 可比嘚结果，同时使用的参数减少了大约 100 倍推理时间减少了 15 倍。

这篇论文提出了一种耐心知识蒸馏的方法这是首次尝试使用教师的隐藏状態，而不仅仅是最后一层的输出他们的学生模型从教师模型的多个中间层「耐心」地学习来获得更多知识。在他们的耐心蒸馏知识框架Φ只训练学生模仿中间层的 [CLS] 令牌的表示形式。代码已公开

这是最近提交到 ICLR 2020 的一篇论文，这篇论文专注于一种用于训练词汇量显著较小、嵌入和隐藏状态维度较低的学生模型的知识蒸馏技术作者采用了双重训练机制，可以同时训练教师和学生模型从而能够获得针对学苼词汇的最佳词嵌入。该方法能够将 BERT-base 模型压缩 60 倍以上而下游任务指标只有很小的下降，从而使得语言模型占用的空间只有不到 7MB

TinyBERT 的结果姒乎更好，但一个 7MB 的类 BERT 模型简直爽的不能再爽！