ccbert 适用于中国海关的BERT预训练过程。 与原版BERT差异： 删除判断两条句子是否是上下文的预训练任务。 新增判断商品要素名称和要素内容是否对齐任务。 MARK单词操作，加强MARK整个要素内容操作。 优势： 相比较于原版BERT和RoBERTa，在海关税率预测任务中，使用新预训练任务和预训练数据的CC-BERT取得了最优效果，比BERT和RoBERT提升2.11%。适用于多种以海关语料为基础的自然语言处理任务。