Tensorflow总结
tensorflow
验证损失比训练损失高的多
过拟合
验证集loss上升，准确率也上升
过拟合，或者训练验证数据分布不一致导致。即在训练后期，预测的结果趋向于极端，使少数预测错的样本主导了loss，但同时少数样本不影响整体的验证acc情况。ICML2020发表了一篇文章：《Do We Need Zero Training Loss After Achieving Zero Training Error?》，描述了上述现象出现的原因，同时提出了一种flooding策略，通过超参数b控制训练loss不要过小，阻止进一步过拟合，在此情况下，使model”random walk”至一个泛化能力更好的结果，亲测flooding策略可以在部分情况下缓解上述问题。以下是关于这篇文章的介绍以...
共计 69 篇文章，9 页。