一个

用一个选择网络，根据验证集的反馈，给每个样本打分——质量高的多学，质量差的少学。

在这篇论文之前，MTS这套方法在理论层面几乎是无懈可击的——让一个选择网络根据验证集的反馈来学习数据权重，听起来既优雅又合理。

他把这100个人的建议平均一下，得到一个综合方向。

2018年，一篇ICML论文提出了一个想法：让AI自己学会挑选训练数据。

MTS的训练依赖于一个双层优化（bi-leveloptimization）过程：先更新主网络θ，再根据验证集上的表现更新选择网络φ。

训练集损失（带权重）和验证集损失分别定义为：这是一个双层优化问题：

你雇了一个军师（选择网络s_φ），他的工作是：拦下路人问方向，然后给每个路人打分——靠谱的人打高分（多听他的），不靠谱的人打低分（少听他的）。

这个教训不仅适用于MTS，也适用于整个AI领域——当我们被一个优雅的理论框架吸引时，发现理论在实际中效果不佳时，应该先问一个更基本的问题：这个理论本身有没有问题。

更关键的是：没人能说清楚——为什么一个看起来很美好的方法，在实践中就是不行？