Tensorflow总结
tensorflow
验证损失比训练损失高的多
过拟合
验证集loss上升,准确率也上升
过拟合,或者训练验证数据分布不一致导致。即在训练后期,预测的结果趋向于极端,使少数预测错的样本主导了loss,但同时少数样本不影响整体的验证acc情况。ICML2020发表了一篇文章:《Do We Need Zero Training Loss After Achieving Zero Training Error?》,描述了上述现象出现的原因,同时提出了一种flooding策略,通过超参数b控制训练loss不要过小,阻止进一步过拟合,在此情况下,使model”random walk”至一个泛化能力更好的结果,亲测flooding策略可以在部分情况下缓解上述问题。以下是关于这篇文章的介绍以...
共计 68 篇文章,9 页。