simultaneous_process_5_4_resconstruct.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Building prefix dict from e:\\anaconda3\\lib\\site-packages\\synonyms\\data\\vocab.txt ...\n",
      "WARNING: Logging before flag parsing goes to stderr.\n",
      "I0615 01:43:37.963976 28572 __init__.py:111] Building prefix dict from e:\\anaconda3\\lib\\site-packages\\synonyms\\data\\vocab.txt ...\n",
      "Loading model from cache C:\\Users\\hly\\AppData\\Local\\Temp\\jieba.u857a83897407c716e516c5d7a7efc7dd.cache\n",
      "I0615 01:43:37.984963 28572 __init__.py:131] Loading model from cache C:\\Users\\hly\\AppData\\Local\\Temp\\jieba.u857a83897407c716e516c5d7a7efc7dd.cache\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      ">> Synonyms load wordseg dict [e:\\anaconda3\\lib\\site-packages\\synonyms\\data\\vocab.txt] ... \n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Loading model cost 3.192 seconds.\n",
      "I0615 01:43:41.173138 28572 __init__.py:163] Loading model cost 3.192 seconds.\n",
      "Prefix dict has been built succesfully.\n",
      "I0615 01:43:41.175137 28572 __init__.py:164] Prefix dict has been built succesfully.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      ">> Synonyms on loading stopwords [e:\\anaconda3\\lib\\site-packages\\synonyms\\data\\stopwords.txt] ...\n",
      ">> Synonyms on loading vectors [e:\\anaconda3\\lib\\site-packages\\synonyms\\data\\words.vector] ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "e:\\anaconda3\\lib\\re.py:212: FutureWarning: split() requires a non-empty pattern match.\n",
      "  return _compile(pattern, flags).split(string, maxsplit)\n",
      "W0615 01:43:47.960357 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:47.967352 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:47.973349 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.053336 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.071313 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.077311 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.441080 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.473063 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.573005 28572 __init__.py:204]  无法映射, 建议添加进umap中\n",
      "W0615 01:43:48.649962 28572 __init__.py:204]  无法映射, 建议添加进umap中\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "   {\n",
      "    \"基本信息\": {\n",
      "        \"中文名\": {\n",
      "            \"中文名\": \"方滨兴\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"外文名\": {\n",
      "            \"外文名\": \"Bin xing Fang\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        },\n",
      "        \"性别\": {\n",
      "            \"性别\": \"男\",\n",
      "            \"来源\": \"fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"出生日期\": {\n",
      "            \"出生日期\": \"1960-7-17\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"出生地\": {\n",
      "            \"出生地\": \"黑龙江省哈尔滨市\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"国籍\": {\n",
      "            \"国籍\": \"中国\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"民族\": {\n",
      "            \"民族\": \"汉族\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"职业\": [\n",
      "            {\n",
      "                \"职业\": \"学者，教授\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"职业\": \"国家计算机网络应急技术处理协调中心主任\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_sougou,fang_360\"\n",
      "            },\n",
      "            {\n",
      "                \"职业\": \"计算机科学家、信息安全专家、中国工程院院士\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_wiki\"\n",
      "            },\n",
      "            {\n",
      "                \"职业\": \"科研工作者\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            }\n",
      "        ],\n",
      "        \"毕业院校\": [\n",
      "            {\n",
      "                \"毕业院校\": \"哈尔滨工业大学，清华大学\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"毕业院校\": \"哈尔滨工业大学\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_sougou,fang_360,fang_baidu\"\n",
      "            }\n",
      "        ],\n",
      "        \"政治面貌\": {\n",
      "            \"政治面貌\": \"中国共产党\",\n",
      "            \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        },\n",
      "        \"代表作品\": [\n",
      "            {\n",
      "                \"代表作品\": \"《论网络空间主权》、《在线社交网络分析》\",\n",
      "                \"来源\": \"fang_baidu\",\n",
      "                \"消歧标志\": 1\n",
      "            },\n",
      "            {\n",
      "                \"代表作品\": \"计算机病毒及其对策,通信学报\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"代表作品\": \"《论网络空间主权》《在线社交网络分析》\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            }\n",
      "        ],\n",
      "        \"主要成就\": [\n",
      "            {\n",
      "                \"主要成就\": \"中国网络空间安全协会理事长\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"主要成就\": \"2005年当选为中国工程院院士\",\n",
      "                \"消歧标志\": 1,\n",
      "                \"来源\": \"fang_sougou,fang_baidu\"\n",
      "            }\n",
      "        ],\n",
      "        \"曾任职\": {\n",
      "            \"曾任职\": \"北京邮电大学校长\",\n",
      "            \"来源\": \"fang_sougou\"\n",
      "        },\n",
      "        \"信仰\": [\n",
      "            {\n",
      "                \"信仰\": \"共产主义\",\n",
      "                \"来源\": \"fang_sougou\",\n",
      "                \"消歧标志\": 1\n",
      "            },\n",
      "            {\n",
      "                \"信仰\": \"无\",\n",
      "                \"来源\": \"fang_360\",\n",
      "                \"消歧标志\": 1\n",
      "            }\n",
      "        ],\n",
      "        \"原籍\": {\n",
      "            \"原籍\": \"江西省上饶市万年县\",\n",
      "            \"来源\": \"fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "        }\n",
      "    },\n",
      "    \"人物履历\": {\n",
      "        \"教育经历\": {\n",
      "            \"本科\": {\n",
      "                \"起始时间\": {\n",
      "                    \"起始时间\": \"1978-3\",\n",
      "                    \"来源\": \"fang_360,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"结束时间\": [\n",
      "                    {\n",
      "                        \"结束时间\": \"1981\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_hudong,fang_360,fang_wiki\"\n",
      "                    },\n",
      "                    {\n",
      "                        \"结束时间\": \"1982-1\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_sougou,fang_baidu\"\n",
      "                    }\n",
      "                ],\n",
      "                \"学校名称\": {\n",
      "                    \"学校名称\": \"哈尔滨工业大学\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"所属院系名\": {\n",
      "                    \"所属院系名\": \"计算机系\",\n",
      "                    \"来源\": \"fang_360,fang_hudong\"\n",
      "                },\n",
      "                \"学历\": {\n",
      "                    \"学历\": \"本科\",\n",
      "                    \"来源\": \"fang_360,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"学位\": {\n",
      "                    \"学位\": \"学士\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                }\n",
      "            },\n",
      "            \"硕士研究生\": {\n",
      "                \"起始时间\": {\n",
      "                    \"起始时间\": \"1982-1\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"结束时间\": {\n",
      "                    \"结束时间\": \"1984-10\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"学校名称\": {\n",
      "                    \"学校名称\": \"清华大学\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"所属院系名\": [\n",
      "                    {\n",
      "                        \"所属院系名\": \"计算机系\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_360,fang_hudong\"\n",
      "                    },\n",
      "                    {\n",
      "                        \"所属院系名\": \"计算机组织与系统结构专业\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_baidu\"\n",
      "                    }\n",
      "                ],\n",
      "                \"导师\": \"\",\n",
      "                \"学历\": {\n",
      "                    \"学历\": \"研究生\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"学位\": {\n",
      "                    \"学位\": \"硕士\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                }\n",
      "            },\n",
      "            \"博士研究生\": {\n",
      "                \"起始时间\": {\n",
      "                    \"起始时间\": \"1986-2\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"结束时间\": {\n",
      "                    \"结束时间\": \"1989-9\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"学校名称\": {\n",
      "                    \"学校名称\": \"哈尔滨工业大学\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"所属院系名\": {\n",
      "                    \"所属院系名\": \"计算机系\",\n",
      "                    \"来源\": \"fang_360,fang_hudong\"\n",
      "                },\n",
      "                \"导师\": \"\",\n",
      "                \"学历\": [\n",
      "                    {\n",
      "                        \"学历\": \"在职博士研究生\",\n",
      "                        \"来源\": \"fang_360,fang_baidu\",\n",
      "                        \"消歧标志\": 1\n",
      "                    },\n",
      "                    {\n",
      "                        \"学历\": \"研究生\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_wiki,fang_hudong,fang_sougou\"\n",
      "                    }\n",
      "                ],\n",
      "                \"学位\": {\n",
      "                    \"学位\": \"博士\",\n",
      "                    \"来源\": \"fang_360,fang_wiki,fang_hudong\"\n",
      "                }\n",
      "            },\n",
      "            \"博士后\": {\n",
      "                \"起始时间\": {\n",
      "                    \"起始时间\": \"1990-4\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"结束时间\": {\n",
      "                    \"结束时间\": \"1993-10\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"学校名称\": {\n",
      "                    \"学校名称\": \"国防科学技术大学\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki,fang_hudong,fang_sougou\"\n",
      "                },\n",
      "                \"所属院系名\": [\n",
      "                    {\n",
      "                        \"所属院系名\": \"计算机科学与技术\",\n",
      "                        \"来源\": \"fang_360,fang_baidu\",\n",
      "                        \"消歧标志\": 1\n",
      "                    },\n",
      "                    {\n",
      "                        \"所属院系名\": \"计算机科学与技术博士后流动站\",\n",
      "                        \"消歧标志\": 1,\n",
      "                        \"来源\": \"fang_wiki,fang_hudong\"\n",
      "                    }\n",
      "                ],\n",
      "                \"导师\": {\n",
      "                    \"导师\": \"胡守仁\",\n",
      "                    \"来源\": \"fang_baidu\"\n",
      "                },\n",
      "                \"学历\": {\n",
      "                    \"学历\": \"博士后\",\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                \"学位\": {\n",
      "                    \"学位\": \"博士后\",\n",
      "                    \"来源\": \"fang_hudong\"\n",
      "                }\n",
      "            }\n",
      "        },\n",
      "        \"工作经历\": {\n",
      "            \"任职\": [\n",
      "                {\n",
      "                    \"起始时间\": \"1984\",\n",
      "                    \"结束时间\": \"1992\",\n",
      "                    \"地点\": \"哈尔滨工业大学\",\n",
      "                    \"所在单位\": \"计算机系\",\n",
      "                    \"职位_职称\": \"助教/讲师/副教授\",\n",
      "                    \"来源\": \"fang_hudong\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1992\",\n",
      "                    \"结束时间\": \"1995\",\n",
      "                    \"地点\": \"哈尔滨工业大学\",\n",
      "                    \"所在单位\": \"计算机系\",\n",
      "                    \"职位_职称\": \"教授\",\n",
      "                    \"来源\": \"fang_hudong\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1995\",\n",
      "                    \"结束时间\": \"1999\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机与电气工程学院\",\n",
      "                    \"职位_职称\": \"教授/博士生导师/教研室主任，副院长，网络中心主任\",\n",
      "                    \"消歧标记\": 1,\n",
      "                    \"来源\": \"fang_hudong,fang_360\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1997-6\",\n",
      "                    \"结束时间\": \"1999-6\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机与电气工程学院\",\n",
      "                    \"职位_职称\": \"副院长\",\n",
      "                    \"消歧标记\": 1,\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1999\",\n",
      "                    \"结束时间\": \"2000\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络应急技术处理协调中心\",\n",
      "                    \"职位_职称\": \"副总工\",\n",
      "                    \"来源\": \"fang_hudong,fang_sougou\",\n",
      "                    \"消歧标记\": 5\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1999\",\n",
      "                    \"结束时间\": \"2000\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国国家计算机网络与信息安全管理中心\",\n",
      "                    \"职位_职称\": \"副总工程师\",\n",
      "                    \"消歧标记\": 5,\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2000\",\n",
      "                    \"结束时间\": \"2002\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络应急技术处理协调中心\",\n",
      "                    \"职位_职称\": \"总工程师/副主任/教授级高级工程师\",\n",
      "                    \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2002\",\n",
      "                    \"结束时间\": \"2006\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络应急技术处理协调中心\",\n",
      "                    \"职位_职称\": \"主任/总工程师/教授级高级工程师\",\n",
      "                    \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2003\",\n",
      "                    \"结束时间\": \"2007\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"信息产业部互联网应急处理协调办公室\",\n",
      "                    \"职位_职称\": \"主任\",\n",
      "                    \"消歧标记\": 2,\n",
      "                    \"来源\": \"fang_hudong,fang_360,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2003\",\n",
      "                    \"结束时间\": \"2008-1\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"信息产业部互联网应急处理协调办公室\",\n",
      "                    \"职位_职称\": \"主任\",\n",
      "                    \"消歧标记\": 2,\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2003\",\n",
      "                    \"结束时间\": \"2007\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络与信息安全管理中心\",\n",
      "                    \"职位_职称\": \"名誉主任\",\n",
      "                    \"来源\": \"fang_hudong,fang_360\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2007-12\",\n",
      "                    \"结束时间\": \"2013-6\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"北京邮电大学\",\n",
      "                    \"职位_职称\": \"校长\",\n",
      "                    \"来源\": \"fang_hudong,fang_sougou\",\n",
      "                    \"消歧标记\": 6\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2007-12\",\n",
      "                    \"结束时间\": \"2013-8\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"北京邮电大学\",\n",
      "                    \"职位_职称\": \"校长\",\n",
      "                    \"消歧标记\": 6,\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1993-7\",\n",
      "                    \"结束时间\": \"1997-5\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机系计算机系统结构教研室\",\n",
      "                    \"职位_职称\": \"副主任、主任\",\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1998-8\",\n",
      "                    \"结束时间\": \"1999-6\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学网络中心\",\n",
      "                    \"职位_职称\": \"主任\",\n",
      "                    \"来源\": \"fang_sougou,fang_baidu\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2005\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国工程院\",\n",
      "                    \"职位_职称\": \"院士\",\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2006\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络与信息安全管理中心\",\n",
      "                    \"职位_职称\": \"名誉主任\",\n",
      "                    \"来源\": \"fang_sougou,fang_baidu,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2016-3-25\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"北京\",\n",
      "                    \"所在单位\": \"中国网络空间安全协会\",\n",
      "                    \"职位_职称\": \"理事长\",\n",
      "                    \"来源\": \"fang_sougou,fang_baidu\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2016-8\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"深圳\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学（深圳）计算机科学与技术学院\",\n",
      "                    \"职位_职称\": \"教授、首席学术顾问\",\n",
      "                    \"来源\": \"fang_sougou\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2017-7\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"广州\",\n",
      "                    \"所在单位\": \"广州大学网络空间先进技术研究院\",\n",
      "                    \"职位_职称\": \"名誉院长\",\n",
      "                    \"来源\": \"fang_sougou\",\n",
      "                    \"消歧标记\": 7\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2017-7\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"广州大学网络空间先进技术研究院\",\n",
      "                    \"职位_职称\": \"名誉院长\",\n",
      "                    \"来源\": \"fang_baidu\",\n",
      "                    \"消歧标记\": 7\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1984\",\n",
      "                    \"结束时间\": \"1999\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学\",\n",
      "                    \"职位_职称\": \"\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2000\",\n",
      "                    \"结束时间\": \"2002\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络与信息安全管理中心\",\n",
      "                    \"职位_职称\": \"总工程师、副主任、教授级高级工程师\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2002\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国科学院计算技术研究所\",\n",
      "                    \"职位_职称\": \"客座研究员、博士生导师、信息安全首席科学家\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2002\",\n",
      "                    \"结束时间\": \"2006\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络与信息安全管理中心\",\n",
      "                    \"职位_职称\": \"主任、总工程师、教授级高级工程师、名誉主任\",\n",
      "                    \"来源\": \"fang_360,fang_baidu,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2005\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国防科学技术大学\",\n",
      "                    \"职位_职称\": \"兼职教授、特聘教授、博士生导师\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2005\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"\",\n",
      "                    \"职位_职称\": \"中国工程院院士\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2008-1\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"第十一届全国人大\",\n",
      "                    \"职位_职称\": \"第十一届全国人大代表\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2011-11\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"北京\",\n",
      "                    \"所在单位\": \"北邮\",\n",
      "                    \"职位_职称\": \"基层人大代表\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2012\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国科学院信息工程研究所\",\n",
      "                    \"职位_职称\": \"客座研究员、博士生导师\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2012\",\n",
      "                    \"结束时间\": \"2013\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国科学院信息工程研究所学术委员会\",\n",
      "                    \"职位_职称\": \"主任\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"2016-3\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"中国网络空间安全协会\",\n",
      "                    \"职位_职称\": \"第一届理事会理事长\",\n",
      "                    \"来源\": \"fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1984\",\n",
      "                    \"结束时间\": \"1992\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机系\",\n",
      "                    \"职位_职称\": \"助教/讲师/副教授/教研室副主任\",\n",
      "                    \"来源\": \"fang_360,fang_baidu\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1992\",\n",
      "                    \"结束时间\": \"1995\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机系\",\n",
      "                    \"职位_职称\": \"教授/教研室副主任、主任\",\n",
      "                    \"消歧标记\": 0,\n",
      "                    \"来源\": \"fang_360\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1992\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机系\",\n",
      "                    \"职位_职称\": \"教授\",\n",
      "                    \"消歧标记\": 0,\n",
      "                    \"来源\": \"fang_baidu\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1995\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"哈尔滨工业大学计算机系\",\n",
      "                    \"职位_职称\": \"博士生导师\",\n",
      "                    \"来源\": \"fang_baidu\"\n",
      "                },\n",
      "                {\n",
      "                    \"起始时间\": \"1999-7\",\n",
      "                    \"结束时间\": \"\",\n",
      "                    \"地点\": \"\",\n",
      "                    \"所在单位\": \"国家计算机网络应急技术处理协调中心\",\n",
      "                    \"职位_职称\": \"\",\n",
      "                    \"来源\": \"fang_baidu\"\n",
      "                }\n",
      "            ],\n",
      "            \"任免_辞职\": [\n",
      "                {\n",
      "                    \"时间点\": \"\",\n",
      "                    \"信息公布权威机关\": \"\",\n",
      "                    \"任免职位_职称\": \"\",\n",
      "                    \"来源\": \"fang_hudong\"\n",
      "                },\n",
      "                {\n",
      "                    \"时间点\": \"2013-6\",\n",
      "                    \"信息公布权威机关\": \"\",\n",
      "                    \"任免职位_职称\": \"北京邮电大学校长\",\n",
      "                    \"来源\": \"fang_sougou\",\n",
      "                    \"消歧标记\": 0\n",
      "                },\n",
      "                {\n",
      "                    \"时间点\": \"2013-6-27\",\n",
      "                    \"信息公布权威机关\": \"\",\n",
      "                    \"任免职位_职称\": \"校长\",\n",
      "                    \"消歧标记\": 0,\n",
      "                    \"来源\": \"fang_360,fang_wiki\"\n",
      "                },\n",
      "                {\n",
      "                    \"时间点\": \"2013-6\",\n",
      "                    \"信息公布权威机关\": \"\",\n",
      "                    \"任免职位_职称\": \"北邮校长\",\n",
      "                    \"消歧标记\": 0,\n",
      "                    \"来源\": \"fang_baidu\"\n",
      "                }\n",
      "            ]\n",
      "        }\n",
      "    },\n",
      "    \"其他职务\": {\n",
      "        \"学术兼职\": [\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国通信标准化协会\",\n",
      "                \"职位_职称\": \"理事\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国互联网协会\",\n",
      "                \"职位_职称\": \"副理事长\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"网络与信息安全工作委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国通信学会\",\n",
      "                \"职位_职称\": \"会士/常务理事\",\n",
      "                \"来源\": \"fang_hudong\",\n",
      "                \"消歧标记\": 0\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国通信学会\",\n",
      "                \"职位_职称\": \"学术工作委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu\",\n",
      "                \"消歧标记\": 0\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"清华大学计算机系\",\n",
      "                \"职位_职称\": \"教授\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中科院计算所\",\n",
      "                \"职位_职称\": \"客座研究员/博士生导师/信息安全首席科学家\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国防科学技术大学\",\n",
      "                \"职位_职称\": \"教授/博士生导师\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"《通信学报》\",\n",
      "                \"职位_职称\": \"编辑委员会主任\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国计算机学会\",\n",
      "                \"职位_职称\": \"副理事长/计算机安全专业委员会主任\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2002\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"信息产业部通信科学技术委员会\",\n",
      "                \"职位_职称\": \"常务委员\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学\",\n",
      "                \"职位_职称\": \"教授、博士生导师\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学国家计算机内容安全重点实验室\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"“新世纪百千万人才工程国家级人选”评审委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国科学院计算所\",\n",
      "                \"职位_职称\": \"客座研究员、博士生导师、信息安全首席科学家\",\n",
      "                \"来源\": \"fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"《通信学报》编辑委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家自然科学基金可信软件\",\n",
      "                \"职位_职称\": \"重大专项专家组副组长\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"计算机安全专业委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-8\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学（深圳）计算机学院\",\n",
      "                \"职位_职称\": \"首席学术顾问\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国云安全与新兴技术安全创新联盟\",\n",
      "                \"职位_职称\": \"理事长\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"教育部网络空间安全学科\",\n",
      "                \"职位_职称\": \"评议组召集人\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国中文信息学会\",\n",
      "                \"职位_职称\": \"第八届理事会理事长\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"\",\n",
      "                \"职位_职称\": \"\",\n",
      "                \"来源\": \"fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"网络与信息安全技术委员会\",\n",
      "                \"职位_职称\": \"主席\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"专家咨询委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"技术管理委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国下一代互联网示范工程（CNGI）项目专家委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"《国家计算机网络与信息安全管理中心科学技术委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            }\n",
      "        ],\n",
      "        \"技术工作兼职\": [\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"网络与信息安全技术委员会\",\n",
      "                \"职位_职称\": \"主席/专家咨询委员会委员/技术管理委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"通信安全技术委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_360,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国下一代互联网示范工程\",\n",
      "                \"职位_职称\": \"项目专家委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"全国人大信息化系统改造和建设工程\",\n",
      "                \"职位_职称\": \"专家咨询顾问组成员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家863计划“十一五”信息技术\",\n",
      "                \"职位_职称\": \"专家委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家自然科学基金可信软件\",\n",
      "                \"职位_职称\": \"重大专项专家组副组长\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家973计划“信息安全理论及若干关键技术”\",\n",
      "                \"职位_职称\": \"首席科学家\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2002\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"信息产业部\",\n",
      "                \"职位_职称\": \"通信科学技术委员会常务委员\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家计算机网络与信息安全管理中心\",\n",
      "                \"职位_职称\": \"科学技术委员会主任\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"解放军总后勤部\",\n",
      "                \"职位_职称\": \"信息化专家咨询委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家信息安全产品认证管理委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家信息化专家咨询委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"网络与信息安全专业委员会\",\n",
      "                \"职位_职称\": \"副主任\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家应急管理\",\n",
      "                \"职位_职称\": \"专家组成员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"公安部\",\n",
      "                \"职位_职称\": \"信息安全特聘专家\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"“新世纪百千万人才工程国家级人选”评审委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_360,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家信息安全产品认证委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国网络通信集团公司\",\n",
      "                \"职位_职称\": \"技术委员会委员\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家863计划“十一五”信息技术领域\",\n",
      "                \"职位_职称\": \"专家委员会委员\",\n",
      "                \"来源\": \"fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"信息内容安全技术国家工程实验室\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家八六三计划信息安全主题组\",\n",
      "                \"职位_职称\": \"专家\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家发展改革委信息安全专家咨询组\",\n",
      "                \"职位_职称\": \"成员\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2004\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"解放军总后勤部信息化专家咨询委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国通信学会\",\n",
      "                \"职位_职称\": \"会士、常务理事\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"清华大学计算机系\",\n",
      "                \"职位_职称\": \"兼职教授\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"全国人大信息化系统改造和建设工程专家咨询顾问组\",\n",
      "                \"职位_职称\": \"顾问组成员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学\",\n",
      "                \"职位_职称\": \"教授、博士生导师\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学国家计算机内容安全重点实验室\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"北京市公安交通管理局\",\n",
      "                \"职位_职称\": \"专家顾问团成员\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国科学院计算所\",\n",
      "                \"职位_职称\": \"客座研究员、博士生导师、信息安全首席科学家\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国防科学技术大学\",\n",
      "                \"职位_职称\": \"特聘教授、博士生导师\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"《通信学报》编辑委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"国家自然科学基金可信软件重大专项专家组\",\n",
      "                \"职位_职称\": \"副组长\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国计算机学会\",\n",
      "                \"职位_职称\": \"副理事长\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"计算机安全专业委员会\",\n",
      "                \"职位_职称\": \"主任\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"2013\",\n",
      "                \"组织机构\": \"中华人民共和国第十一届全国人民代表大会\",\n",
      "                \"职位_职称\": \"大会代表\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-8\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"哈尔滨工业大学（深圳）计算机学院\",\n",
      "                \"职位_职称\": \"首席学术顾问\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国中文信息学会第八届理事会\",\n",
      "                \"职位_职称\": \"理事长\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国电子信息产业集团\",\n",
      "                \"职位_职称\": \"首席科学家\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"可信分布式计算与服务教育部重点实验室（北京邮电大学）主任\",\n",
      "                \"职位_职称\": \"实验室主任\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国云安全与新兴技术安全创新联盟\",\n",
      "                \"职位_职称\": \"理事长\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"教育部网络空间安全学科评议组\",\n",
      "                \"职位_职称\": \"召集人\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            }\n",
      "        ],\n",
      "        \"社会兼职\": [\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"上海市互联网宣传管理\",\n",
      "                \"职位_职称\": \"技术咨询专家\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2007\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"北京市公安交通管理局\",\n",
      "                \"职位_职称\": \"专家顾问团成员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2006\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"北京市信息化专家咨询委员会\",\n",
      "                \"职位_职称\": \"委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2005\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国网络通信集团公司\",\n",
      "                \"职位_职称\": \"技术委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2003\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"财政部\",\n",
      "                \"职位_职称\": \"“金财工程”专家咨询委员会委员\",\n",
      "                \"来源\": \"fang_360,fang_baidu,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2008\",\n",
      "                \"结束时间\": \"2013\",\n",
      "                \"组织机构\": \"中华人民共和国第十一届全国人民代表大会\",\n",
      "                \"职位_职称\": \"代表\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"起始时间\": \"2016-12\",\n",
      "                \"结束时间\": \"\",\n",
      "                \"组织机构\": \"中国电子信息产业集团\",\n",
      "                \"职位_职称\": \"首席科学家\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            }\n",
      "        ]\n",
      "    },\n",
      "    \"科研方向\": [\n",
      "        {\n",
      "            \"起始时间\": \"20世纪90年代末\",\n",
      "            \"结束时间\": \"\",\n",
      "            \"方向\": \"计算机安全事件入侵检测\",\n",
      "            \"所获奖项\": \"\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        },\n",
      "        {\n",
      "            \"起始时间\": \"1999年\",\n",
      "            \"结束时间\": \"\",\n",
      "            \"方向\": \"国家信息安全基础设施\",\n",
      "            \"所获奖项\": \"\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        }\n",
      "    ],\n",
      "    \"研究领域\": [\n",
      "        \"并行处理技术\",\n",
      "        \"计算机网络安全技术及计算机内容安全技术的研究\",\n",
      "        \"新一代互联网技术\",\n",
      "        \"复杂巨系统理论的应用技术\",\n",
      "        \"入侵检测技术\",\n",
      "        \"高效文字匹配算法研究\",\n",
      "        \"侧重点在于信息安全体系框架的研究\",\n",
      "        \"信息安全体系框架的研究\",\n",
      "        \"计算机网络以及网络与信息安全的理论与技术\",\n",
      "        \"网格计算及其安全技术\",\n",
      "        \"网络应急处理技术\",\n",
      "        \"网络协议分析技术\",\n",
      "        \"系统灾备技术\",\n",
      "        \"计算机病毒技术信息捕获与分析技术\",\n",
      "        \"计算机病毒技术\",\n",
      "        \"IPv6技术\",\n",
      "        \"网络健壮性研究\",\n",
      "        \"网络与信息安全的理论与技术\",\n",
      "        \"honey-net技术\",\n",
      "        \"信息捕获与分析技术\"\n",
      "    ],\n",
      "    \"主要荣誉\": [\n",
      "        {\n",
      "            \"时间点\": \"2001\",\n",
      "            \"颁奖单位\": \"国务院\",\n",
      "            \"授予奖项名称\": \"国务院政府特殊津贴\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2001\",\n",
      "            \"颁奖单位\": \"中组部、中宣部、中央政法委、公安部、民政部、人事部\",\n",
      "            \"授予奖项名称\": \"“先进个人”称号\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2001\",\n",
      "            \"颁奖单位\": \"信息产业部\",\n",
      "            \"授予奖项名称\": \"“在信息产业部重点工程中做出突出贡献特等奖先进个人”称号\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2002\",\n",
      "            \"颁奖单位\": \"中组部中宣部、人事部、科技部\",\n",
      "            \"授予奖项名称\": \"全国“杰出专业技术人才”荣誉称号\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_wiki\",\n",
      "            \"消歧标记\": 0\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2004\",\n",
      "            \"颁奖单位\": \"人事部、科学技术部、教育部、财政部、国家发展和改革委员会、国家自然科学基金委员会、中国科学技术协会\",\n",
      "            \"授予奖项名称\": \"“新世纪百千万人才工程国家级人选”\",\n",
      "            \"来源\": \"fang_hudong,fang_360,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2006\",\n",
      "            \"颁奖单位\": \"信息产业部\",\n",
      "            \"授予奖项名称\": \"信息产业科技创新先进工作者\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2007\",\n",
      "            \"颁奖单位\": \"何梁何利基金\",\n",
      "            \"授予奖项名称\": \"何梁何利基金科学与技术进步奖\",\n",
      "            \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2005\",\n",
      "            \"颁奖单位\": \"中国工程院\",\n",
      "            \"授予奖项名称\": \"中国工程院院士\",\n",
      "            \"来源\": \"fang_sougou\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"1995\",\n",
      "            \"颁奖单位\": \"\",\n",
      "            \"授予奖项名称\": \"部级科学进步二等奖\",\n",
      "            \"来源\": \"fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"1996\",\n",
      "            \"颁奖单位\": \"\",\n",
      "            \"授予奖项名称\": \"部级科学进步三等奖\",\n",
      "            \"来源\": \"fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2017\",\n",
      "            \"颁奖单位\": \"深圳市\",\n",
      "            \"授予奖项名称\": \"杰出人才\",\n",
      "            \"来源\": \"fang_wiki\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2002\",\n",
      "            \"颁奖单位\": \"中组部、中宣部、人事部、科技部联合\",\n",
      "            \"授予奖项名称\": \"全国“杰出专业技术人才”荣誉称号\",\n",
      "            \"消歧标记\": 0,\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2001\",\n",
      "            \"颁奖单位\": \"中华人民共和国国务院\",\n",
      "            \"授予奖项名称\": \"国务院政府特殊津贴专家\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2006\",\n",
      "            \"颁奖单位\": \"《计算机世界》\",\n",
      "            \"授予奖项名称\": \"中国信息安全保障突出贡献奖\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        },\n",
      "        {\n",
      "            \"时间点\": \"2014\",\n",
      "            \"颁奖单位\": \"人民网、新华网、中国网络电视台\",\n",
      "            \"授予奖项名称\": \"中国互联网年度人物特别贡献奖\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        }\n",
      "    ],\n",
      "    \"主要成果\": {\n",
      "        \"学术论著类\": [\n",
      "            {\n",
      "                \"时间点\": \"1992\",\n",
      "                \"论著名称\": \"《计算机病毒及其对策》\",\n",
      "                \"消歧标记\": 0,\n",
      "                \"来源\": \"fang_360,fang_hudong,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1992\",\n",
      "                \"论著名称\": \"《计算机病毒及其防范》\",\n",
      "                \"消歧标记\": 0,\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2002\",\n",
      "                \"论著名称\": \"建设网络应急体系,保障网络空间安全\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1980\",\n",
      "                \"论著名称\": \"《ECLIPSE MV/8000超级小型机产品介绍》\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2010-12\",\n",
      "                \"论著名称\": \"《网和天下 三网融合理论、实验与信息安全》\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2014-11\",\n",
      "                \"论著名称\": \"《在线社交网络分析》\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2017-9\",\n",
      "                \"论著名称\": \"《论网络空间主权》\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            }\n",
      "        ],\n",
      "        \"散文类\": \"\",\n",
      "        \"承担项目类\": [\n",
      "            {\n",
      "                \"时间点\": \"2002\",\n",
      "                \"项目名称\": \"信息安全管理系统\",\n",
      "                \"来源\": \"fang_hudong\",\n",
      "                \"消歧标记\": 2\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2002\",\n",
      "                \"项目名称\": \"大范围宽带网络动态处置系统\",\n",
      "                \"来源\": \"fang_360\",\n",
      "                \"消歧标记\": 2\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2004\",\n",
      "                \"项目名称\": \"大规模网络信息获取系统\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2005\",\n",
      "                \"项目名称\": \"搜索引擎安全管理系统\",\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2007\",\n",
      "                \"项目名称\": \"通信数据安全管理系统\",\n",
      "                \"消歧标记\": 1,\n",
      "                \"来源\": \"fang_360,fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2007\",\n",
      "                \"项目名称\": \"信息安全理论及若干关键技术\",\n",
      "                \"消歧标记\": 1,\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2010\",\n",
      "                \"项目名称\": \"非常规突发事件中网络舆情作用机制与相关技术研究\",\n",
      "                \"来源\": \"fang_baidu\",\n",
      "                \"消歧标记\": 3\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2010\",\n",
      "                \"项目名称\": \"Web搜索与挖掘的新理论和新方法—支持舆情监控的Web搜索与挖掘的理论与方法研究国家自然科学基金重点研究计划项目\",\n",
      "                \"来源\": \"fang_sougou\",\n",
      "                \"消歧标记\": 3\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2010\",\n",
      "                \"项目名称\": \"Web搜索与挖掘的新理论和新方法—支持舆情监控的Web搜索与挖掘的理论与方法研究\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2008\",\n",
      "                \"项目名称\": \"网络环境下特定信息获取与处理技术国防科技创新团队项目\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2009\",\n",
      "                \"项目名称\": \"下一代互联网舆情管理系统应用示范\",\n",
      "                \"来源\": \"fang_baidu,fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2006\",\n",
      "                \"项目名称\": \"大规模网络入侵定位与容忍\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2007\",\n",
      "                \"项目名称\": \"信息安全理论及若干关键技术国家973项目\",\n",
      "                \"消歧标记\": 1,\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2010\",\n",
      "                \"项目名称\": \"非常规突发事件中网络舆情作用机制与相关技术研究国家自然科学基金重大研究计划培育项目\",\n",
      "                \"来源\": \"fang_sougou\"\n",
      "            }\n",
      "        ],\n",
      "        \"研究成果类\": [\n",
      "            {\n",
      "                \"时间点\": \"2001\",\n",
      "                \"研究成果名称\": \"计算机病毒及其预防技术\",\n",
      "                \"来源\": \"fang_hudong,fang_sougou,fang_360,fang_baidu,fang_wiki\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2004\",\n",
      "                \"研究成果名称\": \"国家信息安全展略研究\",\n",
      "                \"来源\": \"fang_hudong,fang_sougou\",\n",
      "                \"消歧标记\": 0\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2004\",\n",
      "                \"研究成果名称\": \"大规模网络信息获取系统\",\n",
      "                \"消歧标记\": 0,\n",
      "                \"来源\": \"fang_wiki\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1995\",\n",
      "                \"研究成果名称\": \"支持存储器无冲突访问的互连开关门阵列芯片的研制\",\n",
      "                \"来源\": \"fang_360,fang_baidu\",\n",
      "                \"消歧标记\": 5\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1995\",\n",
      "                \"研究成果名称\": \"多机系统的性能评价的研究\",\n",
      "                \"消歧标记\": 5,\n",
      "                \"来源\": \"fang_hudong,fang_wiki\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1996\",\n",
      "                \"研究成果名称\": \"支持存储器无冲突访问的互连开关设计理论及方法\",\n",
      "                \"消歧标记\": 2,\n",
      "                \"来源\": \"fang_sougou,fang_baidu,fang_wiki\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1996\",\n",
      "                \"研究成果名称\": \"ABC-90阵列计算机综合模拟器\",\n",
      "                \"消歧标记\": 2,\n",
      "                \"来源\": \"fang_hudong\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2002\",\n",
      "                \"研究成果名称\": \"国家信息安全管理系统\",\n",
      "                \"来源\": \"fang_baidu\",\n",
      "                \"消歧标记\": 6\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2002\",\n",
      "                \"研究成果名称\": \"大范围宽带网络动态处置系统\",\n",
      "                \"来源\": \"fang_sougou\",\n",
      "                \"消歧标记\": 6\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"1995\",\n",
      "                \"研究成果名称\": \"支持存储器无冲突访问的互联网络开关门阵列芯片的研制\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2005\",\n",
      "                \"研究成果名称\": \"搜索引擎安全管理系统\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2007\",\n",
      "                \"研究成果名称\": \"国家通信数据安全管理系统\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2015\",\n",
      "                \"研究成果名称\": \"在线社交网络分析关键技术及系统\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2018\",\n",
      "                \"研究成果名称\": \"大规模网络安全态势分析关键技术及系统YHSAS\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            }\n",
      "        ],\n",
      "        \"发明专利类\": \"\",\n",
      "        \"人才培养类\": [\n",
      "            {\n",
      "                \"时间点\": \"\",\n",
      "                \"教育理念\": \"网络空间安全人才培养存在三个特殊性：一是自身网络安全的特殊性；二是人才特殊性；三是网络空间安全人才培养的特殊性\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            },\n",
      "            {\n",
      "                \"时间点\": \"2017年3月\",\n",
      "                \"指导学生\": \"培养硕士与博士生百余名\",\n",
      "                \"来源\": \"fang_baidu\"\n",
      "            }\n",
      "        ]\n",
      "    },\n",
      "    \"学术报告\": [\n",
      "        {\n",
      "            \"时间点\": \"2014年11月19日\",\n",
      "            \"演讲_报告题目\": \"《物联网搜索技术》\",\n",
      "            \"组织单位_活动单位名称\": \"世界互联网大会\",\n",
      "            \"地点\": \"\",\n",
      "            \"重要观点\": \"\",\n",
      "            \"全体观众\": \"\",\n",
      "            \"来源\": \"fang_baidu\"\n",
      "        }\n",
      "    ],\n",
      "    \"外界评价\": \"\",\n",
      "    \"人物影响\": \"\",\n",
      "    \"个性寄语\": \"\",\n",
      "    \"社会争议_争议事件\": \"\",\n",
      "    \"获奖争议\": \"\"\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "from SStack import SStack\n",
    "import cpca\n",
    "from cpca import drawer\n",
    "from DateFormatconvert2 import DateFormatHelper2\n",
    "from cilin import CilinSimilarity\n",
    "from queue import Queue,LifoQueue\n",
    "import collections\n",
    "import json\n",
    "import re\n",
    "import copy\n",
    "import Levenshtein #字符串的编辑距离\n",
    "import synonyms\n",
    "import json\n",
    "import os\n",
    "import sys\n",
    "sys.setrecursionlimit(999)  # set the maximum depth as 5000\n",
    "\n",
    "cs = CilinSimilarity()\n",
    "# 获取指定目录下的json文件\n",
    "def get_files(path='D:\\zyt\\\\azyt\\sfx', rule=\".json\"):\n",
    "    all = []\n",
    "    for fpathe,dirs,fs in os.walk(path):   # os.walk获取所有的目录\n",
    "        for f in fs:\n",
    "            filename = os.path.join(fpathe,f)\n",
    "            if filename.endswith(rule):  # 判断是否是\".json\"结尾\n",
    "                all.append(filename)\n",
    "    return all\n",
    "\n",
    "#用于将地址信息进行对齐统一，接收参数为两个地址内容\n",
    "def merge_local(fang_360, fang_baidu):\n",
    "    location = []\n",
    "    res_list = [] #返回值以列表形式，列表里的第一个数字表示返回值的状态\n",
    "    #前面先处理为空的情况\n",
    "    if fang_360!='' and fang_baidu=='':\n",
    "        res_list = [0, fang_360]\n",
    "    elif fang_baidu!='' and fang_360=='':\n",
    "        res_list = [1, fang_baidu]\n",
    "    elif fang_360=='' and fang_baidu=='':\n",
    "        res_list = [4]\n",
    "    else:\n",
    "        if fang_360==fang_baidu:\n",
    "            res_list = [2, fang_360]\n",
    "        else:\n",
    "            location = [fang_360,fang_baidu]\n",
    "            df = cpca.transform(location) #实现地址信息格式的统一\n",
    "            province = set()\n",
    "            city = set()\n",
    "            zone = set()\n",
    "            address = set()\n",
    "            for i in range(len(df['省'])):\n",
    "                if df['省'][i]:\n",
    "                    province.add(df['省'][i])\n",
    "                if df['市'][i]:\n",
    "                    city.add(df['市'][i])\n",
    "                if df['区'][i]:\n",
    "                    zone.add(df['区'][i])\n",
    "                if df['地址'][i]:\n",
    "                    address.add(df['地址'][i])\n",
    "            if len(province)>1 or len(city)>1 or len(zone)>1 or len(address)>1: #表示地址描述不一致，需要消歧\n",
    "                res_list = [3]\n",
    "            else:\n",
    "                last_location = '' #将对齐的内容挨个拼接起来作为返回值\n",
    "                if len(province)==1:\n",
    "                    last_location = last_location + list(province)[0]\n",
    "                if len(city)==1:\n",
    "                    last_location = last_location + list(city)[0]\n",
    "                if len(zone)==1:\n",
    "                    last_location = last_location + list(zone)[0]\n",
    "                res_list = [2, last_location]\n",
    "    return res_list\n",
    "\n",
    "# 用于将日期信息进行对齐统一,接收参数为两个日期内容\n",
    "def merge_date(fang_360, fang_baidu):\n",
    "    res_list = []\n",
    "    date = set()\n",
    "    if fang_360!='' and fang_baidu=='': #第一个不为空\n",
    "        formal_date = DateFormatHelper2.str2date(fang_360) #将日期格式进行统一\n",
    "        res_list = [0, formal_date]\n",
    "    elif fang_baidu!='' and fang_360=='': #第二个不为空\n",
    "        formal_date = DateFormatHelper2.str2date(fang_baidu)\n",
    "        res_list = [1, formal_date]\n",
    "    elif fang_baidu=='' and fang_360=='': #两个都为空时\n",
    "        res_list = [4]\n",
    "    else: #都不为空时比较\n",
    "        date.add(DateFormatHelper2.str2date(fang_baidu))\n",
    "        date.add(DateFormatHelper2.str2date(fang_360))\n",
    "        if len(date)==1: #两个相等时\n",
    "            res_list = [2, list(date)[0]] #两个相等时\n",
    "        else:\n",
    "            year = set()\n",
    "            month = set()\n",
    "            day = set()\n",
    "            for j in list(date):\n",
    "                if j.find('-')>0:\n",
    "                    res = j.split('-')\n",
    "                    m = 1\n",
    "                    for i in res:\n",
    "                        if m==1:\n",
    "                            year.add(i)\n",
    "                            m += 1\n",
    "                        elif m==2:\n",
    "                            month.add(i)\n",
    "                            m += 1\n",
    "                        else:\n",
    "                            day.add(i)\n",
    "                            m += 1\n",
    "                else:\n",
    "                    year.add(j)\n",
    "            if len(year)>1 or len(month)>1 or len(day)>1:\n",
    "                res_list = [3] #表示日期不一致，无法对齐，需要消歧\n",
    "            else:\n",
    "                last_date = ''\n",
    "                if len(year)==1:\n",
    "                    last_date = last_date + list(year)[0]\n",
    "                if len(month)==1:\n",
    "                    last_date = last_date + '-' + list(month)[0]\n",
    "                if len(day)==1:\n",
    "                    last_date = last_date + '-' + list(day)[0]\n",
    "                res_list = [2, last_date]\n",
    "    return res_list #返回对齐合并后的日期\n",
    "\n",
    "# 两个字符串的比较(看一个字符串是否是另一个字符串的子集)\n",
    "def string_compile(str1, str2):\n",
    "    str1 = re.split('_|\\,|\\/|\\，|\\、|\\-|\\ ' ,str1) #以这几个符号作为分割符切分两个字符串\n",
    "    str2 = re.split('_|\\,|\\/|\\，|\\、|\\-|\\ ' ,str2)\n",
    "    str1_len = len(str1)\n",
    "    str2_len = len(str2)\n",
    "    var_set = set(str1)\n",
    "    return_str = ''\n",
    "    for i in str2:\n",
    "        var_set.add(i)\n",
    "    if len(var_set) == str1_len:\n",
    "        j = 0 \n",
    "        for i in str1:\n",
    "            if j+1 == str1_len:\n",
    "                return_str = return_str+i\n",
    "            else:\n",
    "                return_str = return_str+i+'/'\n",
    "            j += 1\n",
    "        return return_str\n",
    "    elif len(var_set) == str2_len:\n",
    "        j = 0 \n",
    "        for i in str2:\n",
    "            if j+1 == str2_len:\n",
    "                return_str = return_str+i\n",
    "            else:\n",
    "                return_str = return_str+i+'/'\n",
    "            j += 1\n",
    "        return return_str\n",
    "    else:\n",
    "        return 1\n",
    "  \n",
    "'''\n",
    "# 文件都是列表时的对齐，接收参数是属性内容列表attribute_value_list，对应的百科文件的名字，以及前一轮消歧标记的数\n",
    "整体思路与内容是字典时的比较一样，也是先比较内容列表里的前两个值，比较的结果放入列表后面\n",
    "当列表长度为1的时候就返回，否则继续比较\n",
    "'''\n",
    "def compile_list(attribute_value_list, baike_name, disambiguate_flag):\n",
    "    new_attribute_list = [] #用于保存列表里不为空的内容，只比较不为空的内容\n",
    "    new_baike_name = [] #用于保存不为空的内容的信息来源(百科文件名)\n",
    "    # 循环的目的是为了将属性内容为空的值去掉，只比较不为空的内容\n",
    "    j = 0\n",
    "    for i in attribute_value_list:\n",
    "        if i != '':\n",
    "            new_attribute_list.append(i)\n",
    "            if j < len(baike_name): #因为每进行列表里两个内容的比较后，相应的内容和百科名会从原列表中删除\n",
    "                new_baike_name.append(baike_name[j])\n",
    "            else:\n",
    "                pass\n",
    "        j += 1\n",
    "    temp_list = [] #一个临时列表变量，用于存储每一轮比较的结果(无论是消歧、对齐还是都保留的结果)\n",
    "    if len(new_attribute_list)>1: #当列表长度大于1的时候，继续比较\n",
    "        list_baike1 = new_attribute_list[0]\n",
    "        list_baike2 = new_attribute_list[1]\n",
    "        keys = list_baike1[0].keys() #取出值列表中的所有键名\n",
    "        #下面这两个循环先把时间格式进行统一了\n",
    "        for i in list_baike1:\n",
    "            for key in keys:\n",
    "                if key == '起始时间' or key == '结束时间' or key == '时间点':\n",
    "                    if i[key] != '':\n",
    "                        i[key] = DateFormatHelper2.str2date(i[key])\n",
    "        for i in list_baike2:\n",
    "            for key in keys:\n",
    "                if key == '起始时间' or key == '结束时间' or key == '时间点':\n",
    "                    if i[key] != '':\n",
    "                        i[key] = DateFormatHelper2.str2date(i[key])\n",
    "        second_align_list = [] #这一个专门记录比较过程中第二个文件进行了消歧和对齐的部分\n",
    "        #遍历两个文件内容中每个键名下的值并比较，当大于等于2个键不相同时则不进行消歧标记，\n",
    "        #只有1个键值不同，其他键值都相同时则进行消歧标记\n",
    "        #如果所有键值都相同，则说明是对齐了的，进行合并\n",
    "        for first_file_key_value in list_baike1:\n",
    "            mark_first_flag = 0 #用于标记第一个文件的当前行内容进行了对齐或消歧操作，如果没有进行就保留下来\n",
    "            first_temp_dict = copy.deepcopy(first_file_key_value) #用于将第一个文件当前行的字典保存下来\n",
    "            for second_file_key_value in list_baike2:\n",
    "                second_temp_dict = copy.deepcopy(second_file_key_value) #用于将第二个文件当前行的字典保存下来\n",
    "                align_disambiguate_flag = 0 #比较过程中用于记录键值不相同的个数，辅助判断是否需要消歧\n",
    "                for key in keys:\n",
    "                    if key != '消歧标记' and key != '来源': #消歧标记和来源的信息不进行比较\n",
    "                        if key == '起始时间' or key == '结束时间' or key == '时间点':\n",
    "                            if first_file_key_value[key]!='' and  second_file_key_value[key]!='':\n",
    "                                res = merge_date(first_file_key_value[key], second_file_key_value[key])\n",
    "                                if res[0] == 3:\n",
    "                                    align_disambiguate_flag += 1\n",
    "                            elif first_file_key_value[key]!='' and  second_file_key_value[key]=='':\n",
    "                                align_disambiguate_flag += 1\n",
    "                            elif first_file_key_value[key]=='' and  second_file_key_value[key]!='':\n",
    "                                align_disambiguate_flag += 1\n",
    "                            else:\n",
    "                                pass\n",
    "                        elif key == '地点':\n",
    "                            if first_file_key_value[key]!='' and  second_file_key_value[key]!='':\n",
    "                                res = merge_local(first_file_key_value[key], second_file_key_value[key])\n",
    "                                if res[0] == 3:\n",
    "                                    align_disambiguate_flag += 1\n",
    "                            elif first_file_key_value[key]!='' and  second_file_key_value[key]=='':\n",
    "                                align_disambiguate_flag += 1\n",
    "                            elif first_file_key_value[key]=='' and  second_file_key_value[key]!='':\n",
    "                                align_disambiguate_flag += 1\n",
    "                            else:\n",
    "                                pass\n",
    "                        else:\n",
    "                            string_include_res = string_compile(first_file_key_value[key], second_file_key_value[key])\n",
    "                            cilin_res = cs.similarity(first_file_key_value[key], second_file_key_value[key])\n",
    "                            content_distance = Levenshtein.distance(first_file_key_value[key],second_file_key_value[key])\n",
    "                            #这里编辑距离计算会有一些问题，比如\n",
    "                            #{'时间点': '1992年', '论著名称': '《计算机病毒及其对策》'}\n",
    "                            #{'时间点': '1992年', '论著名称': '《计算机病毒及其防范》'}\n",
    "                            if (first_file_key_value[key] != second_file_key_value[key]) and string_include_res==1  and cilin_res!=1:\n",
    "                                align_disambiguate_flag += 1\n",
    "                if align_disambiguate_flag > 1: #表示至少有两个键值不一样，不进行对齐与消歧\n",
    "                    pass\n",
    "                elif align_disambiguate_flag == 1: #表示只有一个键值不一样，进行消歧标记\n",
    "                    #这一段专门处理消歧标记的问题\n",
    "                    if ('消歧标记' in first_temp_dict) and ('消歧标记' not in second_temp_dict):\n",
    "                        second_temp_dict['消歧标记'] = first_temp_dict['消歧标记']\n",
    "                    elif ('消歧标记' not in first_temp_dict) and ('消歧标记' in second_temp_dict):\n",
    "                        first_temp_dict['消歧标记'] = second_temp_dict['消歧标记']\n",
    "                    elif ('消歧标记' in first_temp_dict) and ('消歧标记' in second_temp_dict):\n",
    "                        first_temp_dict['消歧标记'] = second_temp_dict['消歧标记']\n",
    "                    else:\n",
    "                        first_temp_dict['消歧标记'] = disambiguate_flag\n",
    "                        second_temp_dict['消歧标记'] = disambiguate_flag\n",
    "                        disambiguate_flag += 1\n",
    "                    #这一段专门处理来源的问题\n",
    "                    if ('来源' not in first_temp_dict) and ('来源' not in second_temp_dict):\n",
    "                        first_temp_dict['来源'] = new_baike_name[0]\n",
    "                        second_temp_dict['来源'] = new_baike_name[1]\n",
    "                    elif ('来源' in first_temp_dict) and ('来源' not in second_temp_dict):\n",
    "                        second_temp_dict['来源'] = new_baike_name[0]\n",
    "                    elif ('来源' not in first_temp_dict) and ('来源' in second_temp_dict):\n",
    "                        first_temp_dict['来源'] = new_baike_name[0]\n",
    "                    else:\n",
    "                        pass\n",
    "                    mark_first_flag = 1\n",
    "                    second_align_list.append(second_file_key_value)\n",
    "                    temp_list.append(first_temp_dict)\n",
    "                    temp_list.append(second_temp_dict)\n",
    "                    break\n",
    "                else: #表示所有键值都一样，进行对齐合并\n",
    "                    if ('消歧标记' in first_temp_dict) and ('消歧标记' not in second_temp_dict):\n",
    "                        pass\n",
    "                    elif ('消歧标记' not in first_temp_dict) and ('消歧标记' in second_temp_dict):\n",
    "                        first_temp_dict['消歧标记'] = second_temp_dict['消歧标记']\n",
    "                    elif ('消歧标记' in first_temp_dict) and ('消歧标记' in second_temp_dict):\n",
    "                        first_temp_dict['消歧标记'] = second_temp_dict['消歧标记']\n",
    "                    else:\n",
    "                        pass\n",
    "                    if ('来源' not in first_temp_dict) and ('来源' not in second_temp_dict):\n",
    "                        first_temp_dict['来源'] = new_baike_name[0]+','+new_baike_name[1]\n",
    "                    elif ('来源' in first_temp_dict) and ('来源' not in second_temp_dict):\n",
    "                        first_temp_dict['来源'] = first_temp_dict['来源']+','+new_baike_name[0]\n",
    "                    elif ('来源' not in first_temp_dict) and ('来源' in second_temp_dict):\n",
    "                        first_temp_dict['来源'] = second_temp_dict['来源']+','+new_baike_name[0]\n",
    "                    else:\n",
    "                        first_temp_dict['来源'] = first_temp_dict['来源']+','+second_temp_dict['来源']\n",
    "                    mark_first_flag = 1\n",
    "                    second_align_list.append(second_file_key_value)\n",
    "                    temp_list.append(first_temp_dict)\n",
    "                    break\n",
    "            if mark_first_flag == 0:\n",
    "                if ('来源' not in first_temp_dict):\n",
    "                    first_temp_dict['来源'] = new_baike_name[0]\n",
    "                temp_list.append(first_temp_dict)\n",
    "        #用于在第二个文件属性中找到还未处理的部分\n",
    "        if ('消歧标记' in keys) and ('来源' in keys):\n",
    "            length = len(keys) - 2\n",
    "        elif ('消歧标记' not in keys) and ('来源' in keys):\n",
    "            length = len(keys) - 1\n",
    "        else:\n",
    "            length = len(keys)\n",
    "        for second_file_key_value in list_baike2:\n",
    "            flag = 0 #用于记录是否有在已对齐或消歧的列表里找到相同的\n",
    "            for second_file_pre_process in second_align_list:\n",
    "                for key in keys:\n",
    "                    if key != '消歧标记' and key != '来源':\n",
    "                        if second_file_key_value[key] != second_file_pre_process[key]:\n",
    "                            flag = 0\n",
    "                            break\n",
    "                        else:\n",
    "                            flag += 1\n",
    "                if flag == length-1:\n",
    "                    break\n",
    "                    flag = 0\n",
    "            if flag == 0:\n",
    "                if ('来源' not in second_file_key_value):\n",
    "                    second_file_key_value['来源'] = new_baike_name[1]\n",
    "                temp_list.append(second_file_key_value)\n",
    "        duplicate_removal_temp_res = duplicate_removal(temp_list) #得到去重后的结果\n",
    "        duplicate_removal_res = removal_signal_xiaoqi(duplicate_removal_temp_res) #将结果中只有一个标记的标记信息去掉\n",
    "        new_attribute_list.append(duplicate_removal_res) #将对齐、消歧处理后且去重后的结果添加到原属性列表后\n",
    "        #每处理一轮就把前两个删掉\n",
    "        del new_attribute_list[0]\n",
    "        del new_attribute_list[0]\n",
    "        if len(new_baike_name) > 1: #如果百科名列表大于等于两个就删除前两个\n",
    "            del new_baike_name[0]\n",
    "            del new_baike_name[0]\n",
    "        elif len(new_baike_name) == 1: #如果百科名列表只有一个就删除前两个\n",
    "            del new_baike_name[0]\n",
    "        else:\n",
    "            pass\n",
    "        return compile_list(new_attribute_list, new_baike_name, disambiguate_flag)\n",
    "    elif len(attribute_value_list) == 0:\n",
    "        return 0\n",
    "    else:\n",
    "        if j != 1: #表示最开始的文件属性列表中，就只有一个不为空，其他都为空的情况\n",
    "            for i in new_attribute_list[0]:\n",
    "                i['来源'] = new_baike_name[0]\n",
    "            return new_attribute_list[0]\n",
    "        return new_attribute_list[0]\n",
    "\n",
    "#用于去掉temp_list中重复的数据，优先保留\"消歧标记\"数最多的数据，如果都有\"消歧标记\"，则保留\"来源更多\"的数据\n",
    "def duplicate_removal(temp_list):\n",
    "    keys = temp_list[0].keys()\n",
    "    duplicate_removal_list = [] #用于存储去重后的元素\n",
    "    for i in range(0,len(temp_list)):\n",
    "        #把当前的元素赋给一个最多\"来源\"数的变量，后续用这个变量来比较，\n",
    "        #并且碰到来源数更多的重复元素时，将max_source_num替换为更多\"来源\"的那个重复元素\n",
    "        #比较过的重复的元素都打上一个\"删除标记\"，以便在后续循环时不再参与比较\n",
    "        if '删除标记' in temp_list[i]: #碰到已经比较过的重复的元素，就跳过本次循环\n",
    "            continue\n",
    "        max_source_num = copy.deepcopy(temp_list[i])\n",
    "        for j in range(i+1, len(temp_list)):\n",
    "            if '删除标记' in temp_list[j]: #碰到已经比较过的重复的元素，就跳过本次循环\n",
    "                continue\n",
    "            flag = 0\n",
    "            for key in keys:\n",
    "                if key!='消歧标记' and key!='来源' and key!='删除标记':\n",
    "                    if key == '起始时间' or key == '结束时间' or key == '时间点':\n",
    "                        res = merge_date(max_source_num[key], temp_list[j][key])\n",
    "                        if res[0] != 2 and res[0] != 4:\n",
    "                            flag += 1\n",
    "                    elif key=='职位_职称' or key=='任免职位_职称' or key=='颁奖单位' or key=='组织单位_活动单位名称':\n",
    "                        res = string_compile(max_source_num[key], temp_list[j][key])\n",
    "                        if res == 1 :\n",
    "                            flag += 1\n",
    "                    else:\n",
    "                        if max_source_num[key] != temp_list[j][key]:\n",
    "                            flag += 1\n",
    "            if flag == 0: #表示找到了一个重复的，优先保留有\"消歧标记\"的，其次保留\"来源\"更多的\n",
    "                if ('消歧标记' in temp_list[j]) and ('消歧标记' not in max_source_num):\n",
    "                    max_source_num = copy.deepcopy(temp_list[j])\n",
    "                elif ('消歧标记' not in temp_list[j]) and ('消歧标记' in max_source_num):\n",
    "                    pass\n",
    "                else: #这里表示要么都没\"消歧标记\"，要么都有\"消歧标记\"，两种情况下都是优先保留'来源'更多的\n",
    "                    if compute_source_num(temp_list[j]['来源']) > compute_source_num(max_source_num['来源']):\n",
    "                        max_source_num = copy.deepcopy(temp_list[j])\n",
    "                temp_list[j]['删除标记'] = 1\n",
    "        duplicate_removal_list.append(max_source_num)\n",
    "    return duplicate_removal_list\n",
    "\n",
    "#去掉结果中某个标记只有一个的时候该内容的标记部分\n",
    "def removal_signal_xiaoqi(temp_list):\n",
    "    keys = temp_list[0].keys()\n",
    "    for i in range(0,len(temp_list)):\n",
    "        if '删除标记' in temp_list[i]:\n",
    "            continue\n",
    "        flag = 0 #用于标记是否与它有相同\"消歧标记\"内容的情况\n",
    "        if '消歧标记' in temp_list[i]:\n",
    "            for j in range(i+1, len(temp_list)):\n",
    "                if '消歧标记' in temp_list[j]:\n",
    "                    if temp_list[i]['消歧标记'] == temp_list[j]['消歧标记']:\n",
    "                        temp_list[j]['删除标记'] = 1\n",
    "                        flag = 1\n",
    "            if flag == 0:\n",
    "                del temp_list[i]['消歧标记'] #如果没有发现有与其相同的\"消歧标记\"值，就删除其的\"消歧标志\"的键值对\n",
    "    #将前面辅助用到的删除标记去掉\n",
    "    for i in temp_list:\n",
    "        if '删除标记' in i:\n",
    "            del i['删除标记']\n",
    "    return temp_list\n",
    "    \n",
    "# 按,分割来源字符串，并计算得到的最终长度,接收参数为来源字符串\n",
    "def compute_source_num(source):\n",
    "    res = source.split(',')\n",
    "    return len(res)\n",
    "    \n",
    "# 将结果写入到新json文件中，接收参数为当前属性名word和要存入的结果res\n",
    "def list_to_newjson(word, res):\n",
    "    if word=='本科' or word=='硕士研究生' or word=='博士研究生' or word=='博士后':\n",
    "        align_json['人物履历']['教育经历'][word]=res\n",
    "    elif word=='任职' or word=='任免_辞职':\n",
    "        align_json['人物履历']['工作经历'][word]=res\n",
    "    elif word=='学术兼职' or word=='技术工作兼职' or word=='社会兼职':\n",
    "        align_json['其他职务'][word]=res\n",
    "    elif word=='学术论著类' or word=='散文类' or word=='承担项目类' or word=='研究成果类' or word=='发明专利类' or word=='人才培养类':\n",
    "        align_json[\"主要成果\"][word]=res\n",
    "    else:\n",
    "        align_json[word]=res\n",
    "\n",
    "# 只取日期前面的年份\n",
    "def get_year(date):\n",
    "    if date!='':\n",
    "        date = date.strip()\n",
    "        year = date[:4]\n",
    "        year = year + '年'\n",
    "        return year\n",
    "    return date\n",
    "\n",
    "'''\n",
    "维护一个键的队列，输入参数为当前的属性名key和当前的队列的状态key_queue\n",
    "当遇到key为下面的值的时候，不仅弹出当前的key，还弹出其前一个即父类的key\n",
    "'''\n",
    "def preserve_key_queue(key, key_queue):\n",
    "    if key=='任免_辞职':\n",
    "        delete = key_queue.get()\n",
    "        delete = key_queue.get()\n",
    "    elif key=='社会兼职' or key=='人才培养类' or key=='博士后':\n",
    "        delete = key_queue.get()\n",
    "    else:\n",
    "        pass\n",
    "\n",
    "'''\n",
    "把字典型数据里子属性为时间的值进行比较处理\n",
    "这里主要的思路是每次比较属性内容列表里前两个的值，比较的结果放入到列表末尾(无论是对齐的还是需要消歧的)\n",
    "当列表长度为1的时候，即表明比较结束，将比较结果返回\n",
    "'''\n",
    "def dict_deal_time(content_list, index, baike_name):\n",
    "    if len(content_list)>1: #当content_list列表里不止一个元素时，继续比较，直到只剩一个元素才返回\n",
    "        tmp_dict1 = {}\n",
    "        tmp_dict2 = {}\n",
    "        tmp_list = []\n",
    "        # 这里处理列表前两个都是字符串时的情况\n",
    "        if type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='str':\n",
    "            res = merge_date(content_list[0], content_list[1])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]+','+baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = DateFormatHelper2.str2date(content_list[0])\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_dict2[index] = DateFormatHelper2.str2date(content_list[1])\n",
    "                tmp_dict2['消歧标志'] = 1\n",
    "                tmp_dict2['来源'] = baike_name[1]\n",
    "                tmp_list = [tmp_dict1, tmp_dict2]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0] #注意删除的时候的问题，连续删除两个的话，删除了第1个过后列表长度会减1\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        #这里处理列表第一个是字符串，第二个是字典的情况\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='dict':\n",
    "            res = merge_date(content_list[0], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                pass\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                content_list.append(content_list[1])\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = DateFormatHelper2.str2date(content_list[0])\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1], tmp_dict1]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        #这里处理前两个都是字典的结构\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='dict':\n",
    "            res = merge_date(content_list[0][index], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+content_list[0]['来源']\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==3:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0], content_list[1]]\n",
    "                content_list.append(tmp_list)\n",
    "            else:\n",
    "                pass\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        #这里处理第一个是字符串，第二个是列表的情况\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = merge_date(content_list[0], i[index])\n",
    "                if res[0]==2: #标识都不为空且是对齐了的\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+baike_name[0]\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                elif res[0]==4: #表示两个都为空值\n",
    "                    pass\n",
    "                elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                    pass\n",
    "                elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else: #标识两个都不为空，且未对齐\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                tmp_dict1[index] = DateFormatHelper2.str2date(content_list[0])\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_list = [tmp_dict1]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        #这里处理第一个是字典，第二个是列表的情况\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = merge_date(content_list[0][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[0]['来源']\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0]]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        #这里处理第一个是列表第二个是字典的情况\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='dict':\n",
    "            flag = 0\n",
    "            for i in content_list[0]:\n",
    "                res = merge_date(content_list[1][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[1]['来源']\n",
    "                    content_list.append(content_list[0])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1]]\n",
    "                for i in content_list[0]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        #这里处理前两个都是列表的情况\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='list':\n",
    "            flag_list = []\n",
    "            for i in content_list[0]:\n",
    "                flag = 0\n",
    "                for j in content_list[1]:\n",
    "                    res = merge_date(i[index], j[index])\n",
    "                    if res[0]==2:\n",
    "                        i[index] = res[1]\n",
    "                        i['来源'] = i['来源']+','+j['来源']\n",
    "                        tmp_list.append(i)\n",
    "                        flag = 1\n",
    "                        flag_list.append(j)\n",
    "                        break\n",
    "                    else:\n",
    "                        pass\n",
    "                if flag==0:\n",
    "                    tmp_list.append(i)\n",
    "            for i in content_list[1]:\n",
    "                flag = 0\n",
    "                for j in flag_list:\n",
    "                    if i[index]!=j[index]:\n",
    "                        pass\n",
    "                    else:\n",
    "                        flag = 1\n",
    "                        break\n",
    "                if flag == 0:\n",
    "                    tmp_list.append(i)\n",
    "            content_list.append(tmp_list)\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        else:\n",
    "            pass\n",
    "        return compare(content_list, index, baike_name)\n",
    "    else:\n",
    "        return content_list[0]\n",
    "    \n",
    "'''\n",
    "把字典型数据里子属性为地点的值进行比较处理\n",
    "这里主要的思路是每次比较属性内容列表里前两个的值，比较的结果放入到列表末尾(无论是对齐的还是需要消歧的)\n",
    "当列表长度为1的时候，即表明比较结束，将比较结果返回\n",
    "'''\n",
    "def dict_deal_area(content_list, index, baike_name):\n",
    "    if len(content_list)>1: #当content_list列表里不止一个元素时，继续比较，直到只剩一个元素才返回\n",
    "        tmp_dict1 = {}\n",
    "        tmp_dict2 = {}\n",
    "        tmp_list = []\n",
    "        if type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='str':\n",
    "            res = merge_local(content_list[0], content_list[1])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]+','+baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_dict2[index] = content_list[1]\n",
    "                tmp_dict2['消歧标志'] = 1\n",
    "                tmp_dict2['来源'] = baike_name[1]\n",
    "                tmp_list = [tmp_dict1, tmp_dict2]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0] #注意删除的时候的问题，连续删除两个的话，删除了第1个过后列表长度会减1\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='dict':\n",
    "            res = merge_local(content_list[0], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                pass\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                content_list.append(content_list[1])\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1], tmp_dict1]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='dict':\n",
    "            res = merge_local(content_list[0][index], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+content_list[0]['来源']\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==3:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0], content_list[1]]\n",
    "                content_list.append(tmp_list)\n",
    "            else:\n",
    "                pass\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = merge_local(content_list[0], i[index])\n",
    "                if res[0]==2: #标识都不为空且是对齐了的\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+baike_name[0]\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                elif res[0]==4: #表示两个都为空值\n",
    "                    pass\n",
    "                elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                    pass\n",
    "                elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else: #标识两个都不为空，且未对齐\n",
    "                    pass\n",
    "            if flag==1: #表示对齐了的情况下，进入删除百科名操作和删除内容列表操作\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_list = [tmp_dict1]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = merge_local(content_list[0][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[0]['来源']\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0]]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='dict':\n",
    "            flag = 0\n",
    "            for i in content_list[0]:\n",
    "                res = merge_local(content_list[1][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[1]['来源']\n",
    "                    content_list.append(content_list[0])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1]]\n",
    "                for i in content_list[0]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='list':\n",
    "            flag_list = []\n",
    "            for i in content_list[0]:\n",
    "                flag = 0\n",
    "                for j in content_list[1]:\n",
    "                    res = merge_local(i[index], j[index])\n",
    "                    if res[0]==2:\n",
    "                        i[index] = res[1]\n",
    "                        i['来源'] = i['来源']+','+j['来源']\n",
    "                        tmp_list.append(i)\n",
    "                        flag = 1\n",
    "                        flag_list.append(j)\n",
    "                        break\n",
    "                    else:\n",
    "                        pass\n",
    "                if flag==0:\n",
    "                    tmp_list.append(i)\n",
    "            for i in content_list[1]:\n",
    "                flag = 0\n",
    "                for j in flag_list:\n",
    "                    if i[index]!=j[index]:\n",
    "                        pass\n",
    "                    else:\n",
    "                        flag = 1\n",
    "                        break\n",
    "                if flag == 0:\n",
    "                    tmp_list.append(i)\n",
    "            content_list.append(tmp_list)\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        else:\n",
    "            pass\n",
    "        return compare(content_list, index, baike_name)\n",
    "    else:\n",
    "        return content_list[0]\n",
    "    \n",
    "'''\n",
    "把字典型数据里子属性为除时间、地点外其他类型的值进行比较处理\n",
    "这里主要的思路是每次比较属性内容列表里前两个的值，比较的结果放入到列表末尾(无论是对齐的还是需要消歧的)\n",
    "当列表长度为1的时候，即表明比较结束，将比较结果返回\n",
    "'''\n",
    "def dict_deal_other(content_list, index, baike_name):\n",
    "    if len(content_list)>1: #当content_list列表里不止一个元素时，继续比较，直到只剩一个元素才返回\n",
    "        tmp_dict1 = {} #中间变量，用于对其中一个文件的内容在对齐与消歧时做标记\n",
    "        tmp_dict2 = {} #中间变量，用于对另一个文件的内容在对齐与消歧时做标记\n",
    "        tmp_list = [] #临时变量，用于在消歧时记录两个文件内容的状态\n",
    "        if type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='str':\n",
    "            res = compare_other(content_list[0], content_list[1])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]+','+baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = baike_name[1]\n",
    "                content_list.append(tmp_dict1)\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_dict2[index] = content_list[1]\n",
    "                tmp_dict2['消歧标志'] = 1\n",
    "                tmp_dict2['来源'] = baike_name[1]\n",
    "                tmp_list = [tmp_dict1, tmp_dict2]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0] #注意删除的时候的问题，连续删除两个的话，删除了第1个过后列表长度会减1\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='dict':\n",
    "            res = compare_other(content_list[0], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+baike_name[0]\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==4: #表示两个都为空值\n",
    "                pass\n",
    "            elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                pass\n",
    "            elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                content_list.append(content_list[1])\n",
    "            else: #标识两个都不为空，且未对齐\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1], tmp_dict1]\n",
    "                content_list.append(tmp_list)\n",
    "            del baike_name[0]\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='dict':\n",
    "            res = compare_other(content_list[0][index], content_list[1][index])\n",
    "            if res[0]==2: #标识都不为空且是对齐了的\n",
    "                tmp_dict1[index] = res[1]\n",
    "                tmp_dict1['来源'] = content_list[1]['来源']+','+content_list[0]['来源']\n",
    "                content_list.append(tmp_dict1)\n",
    "            elif res[0]==3:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0], content_list[1]]\n",
    "                content_list.append(tmp_list)\n",
    "            else:\n",
    "                pass\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='str' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = compare_other(content_list[0], i[index])\n",
    "                if res[0]==2: #标识都不为空且是对齐了的\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+baike_name[0]\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                elif res[0]==4: #表示两个都为空值\n",
    "                    pass\n",
    "                elif res[0]==0: #表示content_list[0]不为空，content_list[1]为空\n",
    "                    pass\n",
    "                elif res[0]==1: #表示content_list[0]为空，content_list[1]不为空\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else: #标识两个都不为空，且未对齐\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                tmp_dict1[index] = content_list[0]\n",
    "                tmp_dict1['消歧标志'] = 1\n",
    "                tmp_dict1['来源'] = baike_name[0]\n",
    "                tmp_list = [tmp_dict1]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del baike_name[0]\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='dict' and type(content_list[1]).__name__=='list':\n",
    "            flag = 0\n",
    "            for i in content_list[1]:\n",
    "                res = compare_other(content_list[0][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[0]['来源']\n",
    "                    content_list.append(content_list[1])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[0]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[0]]\n",
    "                for i in content_list[1]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='dict':\n",
    "            flag = 0\n",
    "            for i in content_list[0]:\n",
    "                res = compare_other(content_list[1][index], i[index])\n",
    "                if res[0]==2:\n",
    "                    i[index] = res[1]\n",
    "                    i['来源'] = i['来源']+','+content_list[1]['来源']\n",
    "                    content_list.append(content_list[0])\n",
    "                    flag = 1\n",
    "                    break\n",
    "                else:\n",
    "                    pass\n",
    "            if flag==1:\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "            else:\n",
    "                content_list[1]['消歧标志'] = 1\n",
    "                tmp_list = [content_list[1]]\n",
    "                for i in content_list[0]:\n",
    "                    tmp_list.append(i)\n",
    "                content_list.append(tmp_list)\n",
    "                del content_list[0]\n",
    "                del content_list[0]\n",
    "        elif type(content_list[0]).__name__=='list' and type(content_list[1]).__name__=='list':\n",
    "            flag_list = []\n",
    "            for i in content_list[0]:\n",
    "                flag = 0\n",
    "                for j in content_list[1]:\n",
    "                    res = compare_other(i[index], j[index])\n",
    "                    if res[0]==2:\n",
    "                        i[index] = res[1]\n",
    "                        i['来源'] = i['来源']+','+j['来源']\n",
    "                        tmp_list.append(i)\n",
    "                        flag = 1\n",
    "                        flag_list.append(j)\n",
    "                        break\n",
    "                    else:\n",
    "                        pass\n",
    "                if flag==0:\n",
    "                    tmp_list.append(i)\n",
    "            for i in content_list[1]:\n",
    "                flag = 0\n",
    "                for j in flag_list:\n",
    "                    if i[index]!=j[index]:\n",
    "                        pass\n",
    "                    else:\n",
    "                        flag = 1\n",
    "                        break\n",
    "                if flag == 0:\n",
    "                    tmp_list.append(i)\n",
    "            content_list.append(tmp_list)\n",
    "            del content_list[0]\n",
    "            del content_list[0]\n",
    "        else:\n",
    "            pass\n",
    "        return compare(content_list, index, baike_name)\n",
    "    else:\n",
    "        return content_list[0]\n",
    "    \n",
    "'''\n",
    "比较字典型数据里的子属性的值,输入参数是不同百科该子属性值的列表和对应的属性名\n",
    "这里主要的思路是每次比较属性内容列表里前两个的值，比较的结果放入到列表末尾(无论是对齐的还是需要消歧的)\n",
    "当列表长度为1的时候，即表明比较结束，将比较结果返回\n",
    "'''\n",
    "def compare(content_list, index, baike_name):\n",
    "    if index=='起始时间' or index=='结束时间' or index=='出生日期':\n",
    "        res = dict_deal_time(content_list, index, baike_name)\n",
    "    elif index=='出生地' or index=='原籍':\n",
    "        res = dict_deal_area(content_list, index, baike_name)\n",
    "    else: #除开时间、地址的其他情况对齐\n",
    "        res = dict_deal_other(content_list, index, baike_name)\n",
    "    return res\n",
    "    \n",
    "# 根据库比较除时间、地点外其他值是否对齐，接收的参数为两个文件属性的值，以列表形式返回，一个是内容一个是标识\n",
    "def compare_other(content1, content2):\n",
    "    res_list = [] #以列表形式返回，一个是内容一个是标识\n",
    "    if content1!='' and content2=='':\n",
    "        res_list = [0, content1] #标识第一个不为空，第二个为空\n",
    "    elif content1=='' and content2!='': \n",
    "        res_list = [1, content2] #标识第一个为空，第二个不为空\n",
    "    elif content1!='' and content2!='':\n",
    "        if content1==content2:\n",
    "            res_list = [2, content1]\n",
    "        else:\n",
    "            res = cs.similarity(content1, content2)\n",
    "            if res==1:\n",
    "                res_list = [2, content1] #标识两个都不为空且是对齐的\n",
    "            else:\n",
    "                res_list = [3] #标识两个都不为空，但未对齐\n",
    "    else:\n",
    "        res_list = [4] #标识两个都为空\n",
    "    return res_list\n",
    " \n",
    "'''\n",
    "# 对非列表且是字典形式的内容进行对齐(这里主要关注基本信息、本科、硕士、博士、博士后这几个模块)\n",
    "# 接收参数为属性值列表和百科文件名\n",
    "# 按照时间、地点和其他信息处理\n",
    "'''\n",
    "def align_dict(attribute_value_list, baike_name):\n",
    "    keys = list(attribute_value_list[0].keys()) #得到该属性下的所有键的名字，并放到一个list里\n",
    "    new_dict = {} #用于存放对齐与未对齐(需消歧)后的内容\n",
    "    for index in keys:\n",
    "        value = []\n",
    "        for i in attribute_value_list:\n",
    "            value.append(i[index])\n",
    "        var_baike_name = copy.deepcopy(baike_name)\n",
    "        res = compare(value, index, var_baike_name)\n",
    "        new_dict[index] = res\n",
    "    return new_dict\n",
    "                                                        \n",
    "# 对非列表非字典形式的内容对齐(也包括都是列表，但列表里面都是字符串，不是字典的情况)\n",
    "def string_align(word, content_list):\n",
    "    new_list = []\n",
    "    list_to_set = set() #把list里的内容放到集合中，实现自动去重\n",
    "    for i in content_list:\n",
    "        if i=='':\n",
    "            pass\n",
    "        else:\n",
    "            for j in i:\n",
    "                list_to_set.add(j)\n",
    "    new_list = list(list_to_set)\n",
    "    return new_list\n",
    "\n",
    "'''本函数用户判断某个属性对应的值的类型，并根据类型调用相应的函数处理，\n",
    "   接受参数为维护的栈和队列，以及各百科文件的来源名\n",
    "   当属性队列为空的时候，返回0\n",
    "'''\n",
    "def other_align(st, key_queue, baike_name):\n",
    "    if not st.is_empty():\n",
    "        content = set()\n",
    "        word = st.pop() #弹出当前栈里面顶上的内容\n",
    "        key_queue.put(word) #键值队列，用于保存前面已出现的键值(目的是方便后面迭代时能准确找到进行到什么地方了)\n",
    "        index = 0 #index变量，用于在json_file(百科的json文件列表)里找到对应的百科文件\n",
    "        attribute_value_list = [] #局部列表变量，用于存储不同百科文件当前属性下的值\n",
    "        for i in baike_name:\n",
    "            p = json_file[index] #将当前遍历获得的百科文件存入到变量P里面\n",
    "            key_str = 'p'\n",
    "            for j in key_queue.queue: #通过维护的键的队列取到对应的键值\n",
    "                key_str = key_str+'[\\''+j+'\\']'\n",
    "            attribute_value_list.append(eval(key_str))\n",
    "            index += 1\n",
    "        flag = 0 #标记这几个百科json文件的当前属性值是否为空\n",
    "        '''\n",
    "        这里之所以遍历查看的原因是可能五个文件中有些该属性的值为空，但其他文件却为list或dict，\n",
    "        如果先遍历到为空的文件，也先不管，还是继续遍历，直到找到不为空的，执行相应的操作,\n",
    "        但一旦遍历到了不为空的，就可以break退出循环，以免重复进行操作\n",
    "        '''\n",
    "        for i in attribute_value_list:\n",
    "            new_baike_name = copy.deepcopy(baike_name)\n",
    "            if type(i).__name__ == 'list': #处理百科json文件中该属性下的值如果是列表时的情况，则取出列表里的每一个字典\n",
    "                flag = 1\n",
    "                if word=='人物影响' or word=='研究领域': #这两个属性的值没有子属性了，其值直接就是字符串形式，所以单独处理\n",
    "                    res = string_align(word, attribute_value_list)\n",
    "                    list_to_newjson(word, res)\n",
    "                    key = key_queue.get()\n",
    "                    preserve_key_queue(key, key_queue)\n",
    "                    other_align(st, key_queue, new_baike_name)\n",
    "                else: #其他情况的属性值里还有子属性，此时如果是列表的话也是单独处理\n",
    "                    res = compile_list(attribute_value_list, new_baike_name, 0) #返回的是一个列表，列表里面是多个字典\n",
    "                    if res==0:\n",
    "                        res=''\n",
    "                    list_to_newjson(word,res)\n",
    "                    key = key_queue.get()\n",
    "                    preserve_key_queue(key, key_queue) #得到动态维护的键的队列\n",
    "                    other_align(st, key_queue, new_baike_name)\n",
    "                break\n",
    "            elif type(i).__name__ == 'dict': #处理百科json文件中该属性下的值如果是字典时的情况，这里主要是针对单属性值\n",
    "                flag = 1\n",
    "                if word=='基本信息' or word=='本科' or word=='硕士研究生' or word=='博士研究生' or word=='博士后':\n",
    "                    res = align_dict(attribute_value_list, new_baike_name)\n",
    "                    list_to_newjson(word,res)\n",
    "                    key = key_queue.get()\n",
    "                    preserve_key_queue(key, key_queue)\n",
    "                    other_align(st, key_queue, new_baike_name)\n",
    "                else: #当不是单属性值时，说明其还不是最外层的属性(也即为父属性)，则将其压入栈中后续出栈时再处理\n",
    "                    dict_key1 = list(i.keys()) #将字典里的键都放入栈中，稍后依次取出进行对齐\n",
    "                    dict_key1.reverse()\n",
    "                    for i in dict_key1:\n",
    "                        st.push(i)\n",
    "                    other_align(st, key_queue, new_baike_name)\n",
    "                break\n",
    "            else:\n",
    "                pass\n",
    "        if flag==0: #表示这几个文件的当前属性都为空\n",
    "            res = ''\n",
    "            list_to_newjson(word, res)\n",
    "            key = key_queue.get()\n",
    "            preserve_key_queue(key, key_queue)\n",
    "            other_align(st, key_queue, new_baike_name)\n",
    "    else:\n",
    "        return 0\n",
    "\n",
    "# 对齐处理的入口函数，接收参数为最外层的属性名列表和对应的百科json文件名列表\n",
    "def process_entrace(key_list, baike_name):\n",
    "    tree=lambda:collections.defaultdict(tree)\n",
    "    global align_json #全局变量，用于存储对齐和未对齐(做标记)的结果\n",
    "    align_json=tree()\n",
    "    st = SStack() #用栈存放每一轮的属性\n",
    "    lq = LifoQueue(maxsize=0) #用后进先出队列用于存放文件操作过程中的中间键值(用于新建新的对齐json)\n",
    "    key_list.reverse() #属性名列表反向，为了使最后按照正向的方式写入\n",
    "    for i in key_list:\n",
    "        st.push(i) #将最开始外层的属性名压入栈中\n",
    "    res = other_align(st, lq, baike_name) #调用对齐的控制函数\n",
    "    print(\"  \",json.dumps(align_json,ensure_ascii=False,indent=4))\n",
    "    with open('./merge/fang_merge1.json', 'w') as f:\n",
    "        f.write(json.dumps(align_json,ensure_ascii=False,indent=4)) #设置不转换成ascii  json字符串首缩进\n",
    "\n",
    "if __name__ == \"__main__\":\n",
    "    b = get_files(r\"./baike file/fang\")\n",
    "    global json_file #全局列表变量，用于存放不同百科json文件的内容\n",
    "    json_file = []\n",
    "    baike_name = [] #局部变量，用于存放json百科文件的名字，对应数据来源\n",
    "    for i in b:\n",
    "        if i.split('\\\\')[1]!='fang_merge.json' and i.split('\\\\')[1]!='merge.json':\n",
    "            with open(i) as f: #打开json文件并保存到json文件列表里\n",
    "                json_file.append(json.load(f))\n",
    "            baike_name.append(i.split('\\\\')[1].split('.')[0]) #取出百科json文件的文件名\n",
    "    key_list = list(json_file[0].keys()) #局部变量，用于存放百科json文件的最外层父属性\n",
    "    process_entrace(key_list, baike_name)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}