训练过程 labels_accuracy_except_keep 指标为0

[glxe]

作者你好，我在训练过程中 labels_accuracy_except_keep: 0.0000, 这个指标，跑着跑着就变成0了，请问这个有可能是什么原因导致的呢？
第一阶段还好，都是到了第二阶段慢慢就出现了。

[HillZhang1999]

请问参数和数据和论文中一致吗

[glxe]

默认参数没有变，数据的话是我自己的数据。但是也都是处理你的这个格式的。
用的v100的卡，第一次发现这个情况的环境是 cuda 12.1 , torch 应该是1.7.1。
然后我把cuda 降到11.6 torch 1.7.1，问题依旧。
然后cuda又降到11.2（不过这个版本没跑起来，可能环境问题）。

[HillZhang1999]

可以check下数据处理有没有问题，或者跑一下预测试试，看结果是否正常

[glxe]

目前check的数据没看出有啥问题，预测也试了，但是实际推理的结果，很离谱，同样的测试集，用其他模型推理，结果在预期内，用这个训练好的模型，结果就是飞的很离谱，就很奇怪。

[HillZhang1999]

可以加我微信，帮你看看：HillZhang99

[glxe]

好像是环境问题，我又重新折腾下了系统环境和驱动，就好了

[1311597363]

你好，我也碰到了这个问题，可以问下你是怎么解决的吗？

[glxe]

NVIDIA-SMI 460.32.03 Driver Version: 460.32.03 CUDA Version: 11.2 torch 1.7.1
最后就是装的这个驱动版本，然后就好了。
你可以试试这个环境