diff --git a/.idea/workspace.xml b/.idea/workspace.xml
index 091f099..f500977 100644
--- a/.idea/workspace.xml
+++ b/.idea/workspace.xml
@@ -2,10 +2,9 @@
 <project version="4">
   <component name="ChangeListManager">
     <list default="true" id="be5bf74e-ad1c-4197-8a1f-ac93566d8aa7" name="Default" comment="init">
-      <change type="NEW" beforePath="" afterPath="$PROJECT_DIR$/对外技术分享/基础知识1-深度学习.pptx" />
-      <change type="MOVED" beforePath="$PROJECT_DIR$/自然语言处理/bert.pptx" afterPath="$PROJECT_DIR$/对外技术分享/bert.pptx" />
       <change type="MODIFICATION" beforePath="$PROJECT_DIR$/.idea/workspace.xml" afterPath="$PROJECT_DIR$/.idea/workspace.xml" />
       <change type="MODIFICATION" beforePath="$PROJECT_DIR$/README.md" afterPath="$PROJECT_DIR$/README.md" />
+      <change type="MODIFICATION" beforePath="$PROJECT_DIR$/自然语言处理/Bert.md" afterPath="$PROJECT_DIR$/自然语言处理/Bert.md" />
     </list>
     <ignored path="Reflection_Summary.iws" />
     <ignored path=".idea/workspace.xml" />
@@ -26,7 +25,7 @@
   </component>
   <component name="FileEditorManager">
     <leaf SIDE_TABS_SIZE_LIMIT_KEY="300">
-      <file leaf-file-name="README.md" pinned="false" current-in-tab="true">
+      <file leaf-file-name="README.md" pinned="false" current-in-tab="false">
         <entry file="file://$PROJECT_DIR$/README.md">
           <provider editor-type-id="split-provider[text-editor;MarkdownPreviewEditor]">
             <state split_layout="SPLIT">
@@ -41,8 +40,8 @@
           </provider>
           <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
             <state split_layout="SPLIT">
-              <first_editor relative-caret-position="285">
-                <caret line="19" column="0" selection-start-line="19" selection-start-column="0" selection-end-line="19" selection-end-column="0" />
+              <first_editor relative-caret-position="495">
+                <caret line="302" column="43" selection-start-line="302" selection-start-column="43" selection-end-line="302" selection-end-column="43" />
                 <folding />
               </first_editor>
               <second_editor />
@@ -50,7 +49,7 @@
           </provider>
         </entry>
       </file>
-      <file leaf-file-name="Bert.md" pinned="false" current-in-tab="false">
+      <file leaf-file-name="Bert.md" pinned="false" current-in-tab="true">
         <entry file="file://$PROJECT_DIR$/自然语言处理/Bert.md">
           <provider editor-type-id="split-provider[text-editor;MarkdownPreviewEditor]">
             <state split_layout="SPLIT">
@@ -65,32 +64,8 @@
           </provider>
           <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
             <state split_layout="SPLIT">
-              <first_editor relative-caret-position="240">
-                <caret line="16" column="17" selection-start-line="16" selection-start-column="2" selection-end-line="16" selection-end-column="17" />
-                <folding />
-              </first_editor>
-              <second_editor />
-            </state>
-          </provider>
-        </entry>
-      </file>
-      <file leaf-file-name="Attention.md" pinned="false" current-in-tab="false">
-        <entry file="file://$PROJECT_DIR$/深度学习/Attention.md">
-          <provider editor-type-id="split-provider[text-editor;MarkdownPreviewEditor]">
-            <state split_layout="SPLIT">
-              <first_editor relative-caret-position="0">
-                <caret line="0" column="0" selection-start-line="0" selection-start-column="0" selection-end-line="0" selection-end-column="0" />
-                <folding />
-              </first_editor>
-              <second_editor>
-                <js_state />
-              </second_editor>
-            </state>
-          </provider>
-          <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
-            <state split_layout="SPLIT">
-              <first_editor relative-caret-position="405">
-                <caret line="27" column="30" selection-start-line="27" selection-start-column="2" selection-end-line="27" selection-end-column="30" />
+              <first_editor relative-caret-position="175">
+                <caret line="26" column="0" selection-start-line="26" selection-start-column="0" selection-end-line="26" selection-end-column="0" />
                 <folding />
               </first_editor>
               <second_editor />
@@ -140,8 +115,8 @@
         <option value="$PROJECT_DIR$/机器学习/随机森林/随机森林.md" />
         <option value="$PROJECT_DIR$/机器学习/集成学习/LightGBM.md" />
         <option value="$PROJECT_DIR$/深度学习/Attention.md" />
-        <option value="$PROJECT_DIR$/自然语言处理/Bert.md" />
         <option value="$PROJECT_DIR$/README.md" />
+        <option value="$PROJECT_DIR$/自然语言处理/Bert.md" />
       </list>
     </option>
   </component>
@@ -259,7 +234,7 @@
   <component name="PropertiesComponent">
     <property name="settings.editor.selected.configurable" value="editor.preferences.import" />
     <property name="settings.editor.splitter.proportion" value="0.2" />
-    <property name="last_opened_file_path" value="$PROJECT_DIR$" />
+    <property name="last_opened_file_path" value="$PROJECT_DIR$/../ChineseNER" />
     <property name="WebServerToolWindowFactoryState" value="false" />
     <property name="js-jscs-nodeInterpreter" value="$USER_HOME$/.nvm/versions/node/v9.2.0/bin/node" />
   </component>
@@ -557,7 +532,7 @@
     <frame x="0" y="23" width="1440" height="823" extended-state="6" />
     <editor active="false" />
     <layout>
-      <window_info id="Project" active="true" anchor="left" auto_hide="false" internal_type="DOCKED" type="DOCKED" visible="true" show_stripe_button="true" weight="0.23748212" sideWeight="0.5" order="0" side_tool="false" content_ui="combo" />
+      <window_info id="Project" active="true" anchor="left" auto_hide="false" internal_type="DOCKED" type="DOCKED" visible="true" show_stripe_button="true" weight="0.119456366" sideWeight="0.5" order="0" side_tool="false" content_ui="combo" />
       <window_info id="TODO" active="false" anchor="bottom" auto_hide="false" internal_type="DOCKED" type="DOCKED" visible="false" show_stripe_button="true" weight="0.33" sideWeight="0.5" order="6" side_tool="false" content_ui="tabs" />
       <window_info id="Event Log" active="false" anchor="bottom" auto_hide="false" internal_type="DOCKED" type="DOCKED" visible="false" show_stripe_button="true" weight="0.33" sideWeight="0.5" order="7" side_tool="true" content_ui="tabs" />
       <window_info id="Database" active="false" anchor="right" auto_hide="false" internal_type="DOCKED" type="DOCKED" visible="false" show_stripe_button="true" weight="0.33" sideWeight="0.5" order="3" side_tool="false" content_ui="tabs" />
@@ -1148,15 +1123,15 @@
       </provider>
       <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
         <state split_layout="SPLIT">
-          <first_editor relative-caret-position="405">
-            <caret line="27" column="30" selection-start-line="27" selection-start-column="2" selection-end-line="27" selection-end-column="30" />
+          <first_editor relative-caret-position="435">
+            <caret line="29" column="32" selection-start-line="29" selection-start-column="32" selection-end-line="29" selection-end-column="32" />
             <folding />
           </first_editor>
           <second_editor />
         </state>
       </provider>
     </entry>
-    <entry file="file://$PROJECT_DIR$/自然语言处理/Bert.md">
+    <entry file="file://$PROJECT_DIR$/README.md">
       <provider editor-type-id="split-provider[text-editor;MarkdownPreviewEditor]">
         <state split_layout="SPLIT">
           <first_editor relative-caret-position="0">
@@ -1170,15 +1145,15 @@
       </provider>
       <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
         <state split_layout="SPLIT">
-          <first_editor relative-caret-position="240">
-            <caret line="16" column="17" selection-start-line="16" selection-start-column="2" selection-end-line="16" selection-end-column="17" />
+          <first_editor relative-caret-position="495">
+            <caret line="302" column="43" selection-start-line="302" selection-start-column="43" selection-end-line="302" selection-end-column="43" />
             <folding />
           </first_editor>
           <second_editor />
         </state>
       </provider>
     </entry>
-    <entry file="file://$PROJECT_DIR$/README.md">
+    <entry file="file://$PROJECT_DIR$/自然语言处理/Bert.md">
       <provider editor-type-id="split-provider[text-editor;MarkdownPreviewEditor]">
         <state split_layout="SPLIT">
           <first_editor relative-caret-position="0">
@@ -1192,8 +1167,8 @@
       </provider>
       <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
         <state split_layout="SPLIT">
-          <first_editor relative-caret-position="285">
-            <caret line="19" column="0" selection-start-line="19" selection-start-column="0" selection-end-line="19" selection-end-column="0" />
+          <first_editor relative-caret-position="175">
+            <caret line="26" column="0" selection-start-line="26" selection-start-column="0" selection-end-line="26" selection-end-column="0" />
             <folding />
           </first_editor>
           <second_editor />
diff --git a/README.md b/README.md
index f889498..cf7317e 100644
--- a/README.md
+++ b/README.md
@@ -300,6 +300,8 @@
     - [在数据中随机选择 15% 的标记，其中80%被换位\[mask\]，10%不变、10%随机替换其他单词，原因是什么](自然语言处理/Bert.md#L164)
     - [elmo、GPT、bert三者之间有什么区别？](自然语言处理/Bert.md#L164)
     - [长文本预测如何构造Tokens](自然语言处理/Bert.md#L164)
+    - [读过源码么？能大概讲讲源码么](自然语言处理/Bert.md#L164)
+    - [你平时怎么用Bert](自然语言处理/Bert.md#L164)
 - Transfer
 
 # 推荐
diff --git "a/\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/Bert.md" "b/\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/Bert.md"
index 3693d8d..76ed3e0 100644
--- "a/\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/Bert.md"
+++ "b/\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/Bert.md"
@@ -1,7 +1,7 @@
 # Bert的双向体现在什么地方？
 mask+attention，mask的word结合全部其他encoder word的信息
 
-# Bert的是怎样预训练的？
+# Bert的是怎样实现mask构造的？
 - MLM：将完整句子中的部分字mask，预测该mask词
 - NSP：为每个训练前的例子选择句子 A 和 B 时，50% 的情况下 B 是真的在 A 后面的下一个句子， 50% 的情况下是来自语料库的随机句子，进行二分预测是否为真实下一句
 
@@ -19,4 +19,32 @@ mask+attention，mask的word结合全部其他encoder word的信息
 - tail-only：保存最后 510 个token
 - head + tail ：选择前128个 token 和最后382个 token（文本在800以内）或者前256个token+后254个token（文本大于800tokens）
 
-# 
\ No newline at end of file
+# 你用过什么模块？bert流程是怎么样的？
+- modeling.py
+- 首先定义处理好输入的tokens的对应的id作为input_id,因为不是训练所以input_mask和segment_id都是采取默认的1即可
+- 在通过embedding_lookup把input_id向量化，如果存在句子之间的位置差异则需要对segment_id进行处理，否则无操作；再进行position_embedding操作
+- 进入Transform模块，后循环调用transformer的前向过程，次数为隐藏层个数，每次前向过程都包含self_attention_layer、add_and_norm、feed_forward和add_and_norm四个步骤
+- 输出结果为句向量则取\[cls]对应的向量（需要处理成embedding_size），否则也可以取最后一层的输出作为每个词的向量组合all_encoder_layers\[-1]
+
+# 知道分词模块：FullTokenizer做了哪些事情么？
+- BasicTokenizer：根据空格等进行普通的分词
+    - 包括了一些预处理的方法：去除无意义词，跳过'\t'这些词，unicode变换，中文字符筛选等等
+- WordpieceTokenizer：前者的结果再细粒度的切分为WordPiece
+    - 中文不处理，因为有词缀一说：解决OOV
+
+# Bert中如何获得词意和句意？
+- get_pooled_out代表了涵盖了整条语句的信息
+- get_sentence_out代表了这个获取每个token的output 输出，用的是cls向量
+    
+# 源码中Attention后实际的流程是如何的？
+- Transform模块中：在残差连接之前，对output_layer进行了dense+dropout后再合并input_layer进行的layer_norm得到的attention_output
+- 所有attention_output得到并合并后，也是先进行了全连接，而后再进行了dense+dropout再合并的attention_output之后才进行layer_norm得到最终的layer_output
+
+# 为什么要在Attention后使用残差结构？
+残差结构能够很好的消除层数加深所带来的信息损失问题
+
+# 平时用官方Bert包么？耗时怎么样？
+- 第三方：bert_serving
+- 官方：bert_base
+- 耗时：64GTesla，64max_seq_length，80-90doc/s
+    - 在线预测只能一条一条的入参，实际上在可承受的计算量内batch越大整体的计算性能性价比越高
\ No newline at end of file