权值

org/abs/1903.01611）中，他们尝试通过将权值重新设置为经过了较少的k轮训练之后得到的权值，而不是网络的初始化权值，从而鲁棒地获得剪枝后的子网络。

在模型收敛后，我们重复该剪枝过程（屏蔽额外的s的权值），并使用新一轮剪枝后发现的掩模设置初始化权值。

随后，我们使用之前的初始化权值重新训练稀疏化后的网络。

问题2：如何对有待剪枝的权值参数进行排序？

非结构化修剪不考虑剪枝的权值之间的任何关系。

3、学习率回放：该方法并未回放权值或将学习率调整策略设置为初始状态，学习率回放使用的是最终未剪枝的权值，并且只将学习率调成策略调整到第k轮迭代的状态。

首先，IMP算法能够找到一个有利于当前任务的子结构，而且子网络的权值初始化需要通过特殊的学习模式获得。

这个发现很让人激动，也许我们可以根本不训练网络权值，只需要找到正确的掩模就能获得很好的模型性能。

此后，算法以第k次迭代时的权值为起点，使用某种学习率调整策略重新训练权值。

也许，这些因素包括：掩模屏蔽的标准（权值的大小）、回放未被屏蔽的权值的方法，以及将权值设置为零并冻结它们的掩模。

这种对于权值处理的矛盾也催生出了相关的技术，这些技术使用基于梯度的方法或者更高阶的曲率信息来学习剪枝掩模。

其中，局部剪枝方法会强制从网络的每一层剪掉一定比例的权值参数。

当然，我们可以设计网络来让修剪后保留的权值参数更多一些（即更保守），但是这会增加算法的训练时间。

它能在仍旧获得和原始网络相近的测试性能的同时，剪掉高达85%的权值参数。

当然，我们可以设计网络来让修剪后保留的权值参数更多一些（即更保守），但是这会增加算法的训练时间。