7B模型训练数据污染（疑似？）

[shifop]

看仓库说明：
使用的训练数据是：
https://huggingface.co/datasets/shibing624/chinese_text_correction
测试数据是：
SIGHAN-2015(sighan2015_test.tsv)
EC-LAW(ec_law_test.tsv)
MCSC(mcsc_test.tsv)

检查发现，EC-LAW和MCSC数据和训练数据是有重叠的，这和三个测试集的效果一致，EC-LAW，MCSC接近1，SIGHAN-2015奇怪的只有0.4917

想问一下，训练的时候有去除在测试集中的数据吗？

[shibing624]

训练的时候包括了测试集中的数据。