NER实验及模型部署

本NER项目包含多个中文数据集，模型采用BiLSTM+CRF、BERT+Softmax、BERT+Cascade、BERT+WOL等，其中BiLSTM+CRF部分采用的字符向量为BERT字向量，最后在CLUE_NER数据集上进行实验对比，并采用TFServing进行模型部署进行线上推理和线下推理。

详细请见知乎：
NER实战：从实验到BERT模型部署服务

运行环境
python 3.6
tensorflow 1.14

如何运行？以运行BERT+CRF模型为例

• step1：模型训练
  python run_bert_crf.py
• step2：模型验证测试
  python predict_bert_crf.py
• step3：模型推理预测
  python infer_online.py

模型评价方式 对于NER模型，评判模型是否好坏的方法有2种

• 标签评价法：对模型预测的标签进行评价，计算预测标签和原始标签的p，r，f1值
  tag_evaluating.py 其中可以设置是否不把O标签考虑在内
• 实体评价法：对预测的实体进行评价，计算预测实体的f1值等等
  entity_evaluating.py

模型推理模模式

一、基于checkpoints进行online，offline推理预测
1.dev_offline 预测标签与真实标签评价结果+预测实体与真实实体评价结果+写入评测文件
2.predict_online 识别即时输入句子的实体
3.predict_offline 预测结果写入文件，提交比赛结果，本项目对应于clue的ner预测标准文件格式

二、基于tfserving + pb文件进行online，offline推理预测

模型推理部分，分为本地载入模型推理或者tensorflow serving grpc 推理，具体详见 infer_online.py 和 infer_offline.py

实验结果

	model	precision	recall	f1	entity_f1	epoch	predict_time
clue_ner	lstm_crf	0.926	0.865	0.890	0.671	20
	bert_crf	0.871	0.820	0.840	0.741	3
	bert_wol	0.900	0.851	0.874	0.800	3
	casecade_lstm_crf	0.942	0.891	0.916	0.783	20
	casecade_bert_crf	0.892	0.842	0.866	0.800	3

TODO
1.加上ALBERT，ROBERTA等预训练语言模型
2.在模型中融合入词向量等特征信息

Cite
如果你在研究中使用了NER-FunTool，请按如下格式引用：

@software{NER-FunTool,
  author = {ZhengWen Xie},
  title = {NER-FunTool: A Fun Tool for Chinese NER},
  year = {2021},
  url = {https://github.com/WenRichard/NER-FunTool},
}

Reference
1.NER
2.CLUE_NER
3.NerAdapter

欢迎Fork和Star！也欢迎提交PR！
留言请在Issues或者email [email protected]