New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

请问您的f1值和sent值最后是多少？ #4

Open

1535966643 opened this issue Dec 11, 2020 · 5 comments

1535966643 commented Dec 11, 2020

我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。
所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643

Owner

AidenHuen commented Dec 11, 2020 via email

marco F1 和 micro F1会有所不同。意图识别和槽位填充我也有做，不过还没和论文对比过。

------------------ 原始邮件 ------------------ 发件人: "zhy"<[email protected]>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<[email protected]>; 抄送: "Subscribed"<[email protected]>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4) 我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Owner

AidenHuen commented Dec 11, 2020 via email

而且现在我这个是用BERT_serving起的，不能对BERT进行Fintune的，你可以找其他KERAS版的BERT实现（BERT4KERAS）来做。对BERT做Fintune之后，一般可以高几个百分点

------------------ 原始邮件 ------------------ 发件人: "zhy"<[email protected]>; 发送时间: 2020年12月11日(星期五) 下午2:51 收件人: "AidenHuen/BERT-BiLSTM-CRF"<[email protected]>; 抄送: "Subscribed"<[email protected]>; 主题: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4) 我已经调了挺久了，我目前还是一直在复现bert+crf，使用keras，数据ATIS，基于论文Joint Intent Classification and Slot Filling BERT去实现，但是按照论文的f1和sent评估方法（论文对应的GitHub评估f1与平常不同），我目前的结果是f1=91,sent=81，与论文给出的精度还是差不少。我已经不知道如何改动了。所以请教一下您，你的结果大概多少？还有我的可能什么原因精度低。希望我们能交流一下，qq1535966643 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Author

1535966643 commented Dec 11, 2020

我已经进行了finetun，但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样，sklearn的f1值高，可以达到96多且intent达到97%，但是seqeval的f1值只有91，我认为seqeval的对的，因为还有个指标sent一直都是81，所以应该是哪里不对。但是现在我已经死调烂调都是这个。

Owner

AidenHuen commented Dec 11, 2020 via email

不太清楚你说的意思，论文应该有开源代码吧，直接用他们的F1，没有的话复现一下。

------------------ 原始邮件 ------------------ 发件人: "zhy"<[email protected]>; 发送时间: 2020年12月11日(星期五) 下午3:22 收件人: "AidenHuen/BERT-BiLSTM-CRF"<[email protected]>; 抄送: "771640993"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [AidenHuen/BERT-BiLSTM-CRF] 请问您的f1值和sent值最后是多少？ (#4) 我已经进行了finetun，但是评估的时候现在seqeval.metrics和sklearn.metrics两个库的f1值不一样，sklearn的f1值高，可以达到96多且intent达到97%，但是seqeval的f1值只有91，我认为seqeval的对的，因为还有个指标sent一直都是81，所以应该是哪里不对。但是现在我已经死调烂调都是这个。 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

Author

1535966643 commented Dec 11, 2020

https://github.com/monologg/JointBERT/blob/7497631c20/data/vocab_process.py，这是论文对应代码，就是已经微调，结构bert+crf，但是怎么调都不能到达人家的精度

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment