CRF部分

obananas · Nov 25, 2019 · 928fa5a · 928fa5a
1 parent 551ef88
commit 928fa5a
Show file tree

Hide file tree

Showing 3 changed files with 59 additions and 41 deletions.
diff --git a/.idea/workspace.xml b/.idea/workspace.xml
diff --git a/README.md b/README.md
@@ -281,7 +281,7 @@
     - [Linear SVM 和 LR 有什么异同](机器学习/支持向量机/支持向量机.md#L164)
 # 深度学习
 - dropout
-- batchnormalization
+- batch_normalization
 - bp过程
 - embedding
 - softmax
@@ -305,6 +305,7 @@
     - [word2vec两种方法各自的优势](自然语言处理/Word2Vec.md#L164)
     - [怎么衡量学到的embedding的好坏](自然语言处理/Word2Vec.md#L164)
     - [word2vec和glove区别](自然语言处理/Word2Vec.md#L164)
+- CRF
 - LDA
 - LSTM
 - GRU

diff --git a/自然语言处理/CRF.md b/自然语言处理/CRF.md
@@ -0,0 +1,20 @@
+# 阐述CRF原理？
+- 首先X,Y是随机变量，P(Y/X)是给定X条件下Y的条件概率分布
+- 如果Y满足马尔可夫满足马尔科夫性，及不相邻则条件独立
+- 则条件概率分布P(Y|X)为条件随机场CRF
+
+# 线性链条件随机场的公式是？
+- ![](https://tva1.sinaimg.cn/large/006y8mN6gy1g9ah66y1nxj30cr015747.jpg)
+
+# CRF与HMM区别?
+- CRF是判别模型求的是p(Y/X),HMM是生成模型求的是P(X,Y)
+- CRF是无向图，HMM是有向图
+- CRF全局最优输出节点的条件概率，HMM对转移概率和表现概率直接建模，统计共现概率
+
+# Bert+crf中的各部分作用详解？
+- Bert把中文文本进行了embedding，得到每个字的表征向量
+- dense操作得到了每个文本文本对应的未归一化的tag概率
+- CRF在选择每个词的tag的过程其实就是一个最优Tag路径的选择过程
+    - CRF层能从训练数据中获得约束性的规则
+        - 比如开始都是以xxx-B，中间都是以xxx-I，结尾都是以xxx-E
+        - 比如在只有label1-I，label2-I..的情况下，不会出现label1-B