0601_SNA_DATA.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 0. 데이터로딩"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "dict_keys(['cv', 'tfidf', 'tdm_cv', 'tdm_tfidf'])\n"
     ]
    }
   ],
   "source": [
    "import joblib\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "def get_nouns(text):\n",
    "    return 1\n",
    "with open('tdm.pkl', 'rb') as f:\n",
    "    data = joblib.load(f)\n",
    "    print(data.keys())\n",
    "    locals().update(data)\n",
    "    del data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['!!',\n",
       " '!!!',\n",
       " '가게',\n",
       " '가격',\n",
       " '가도',\n",
       " '가루',\n",
       " '가리비',\n",
       " '가면',\n",
       " '가보',\n",
       " '가시',\n",
       " '가야',\n",
       " '가이드',\n",
       " '가정',\n",
       " '가족',\n",
       " '가지',\n",
       " '가짓수',\n",
       " '가치',\n",
       " '각종',\n",
       " '간격',\n",
       " '간식',\n",
       " '간장',\n",
       " '간판',\n",
       " '갈비',\n",
       " '갈비탕',\n",
       " '감동',\n",
       " '감사',\n",
       " '감안',\n",
       " '감자',\n",
       " '감자 튀김',\n",
       " '감자탕',\n",
       " '강남',\n",
       " '개인',\n",
       " '객실',\n",
       " '거리',\n",
       " '걱정',\n",
       " '건강',\n",
       " '건너편',\n",
       " '건담',\n",
       " '건물',\n",
       " '건지',\n",
       " '검색',\n",
       " '게장',\n",
       " '겨울',\n",
       " '결정',\n",
       " '경우',\n",
       " '경주',\n",
       " '경치',\n",
       " '경험',\n",
       " '계단',\n",
       " '계란',\n",
       " '계산',\n",
       " '계속',\n",
       " '계절',\n",
       " '계획',\n",
       " '고객',\n",
       " '고급',\n",
       " '고기',\n",
       " '고기국수',\n",
       " '고려',\n",
       " '고민',\n",
       " '고베',\n",
       " '고추',\n",
       " '고추장',\n",
       " '골목',\n",
       " '곰탕',\n",
       " '곱창',\n",
       " '곳도',\n",
       " '공간',\n",
       " '공기',\n",
       " '공연',\n",
       " '공유',\n",
       " '공항',\n",
       " '과일',\n",
       " '과자',\n",
       " '과정',\n",
       " '관광',\n",
       " '관광객',\n",
       " '관광지',\n",
       " '관리',\n",
       " '관심',\n",
       " '광고',\n",
       " '광안리',\n",
       " '광화문',\n",
       " '구경',\n",
       " '구매',\n",
       " '구사',\n",
       " '구성',\n",
       " '구이',\n",
       " '구입',\n",
       " '국물',\n",
       " '국밥',\n",
       " '국수',\n",
       " '국제',\n",
       " '군데',\n",
       " '군만두',\n",
       " '권장',\n",
       " '규모',\n",
       " '그날',\n",
       " '그니',\n",
       " '그때',\n",
       " '그런지',\n",
       " '그룹',\n",
       " '그릇',\n",
       " '그릴',\n",
       " '그중',\n",
       " '근처',\n",
       " '금액',\n",
       " '금요일',\n",
       " '기간',\n",
       " '기념일',\n",
       " '기대',\n",
       " '기름',\n",
       " '기본',\n",
       " '기분',\n",
       " '기억',\n",
       " '기준',\n",
       " '기차',\n",
       " '기타',\n",
       " '기회',\n",
       " '긴자',\n",
       " '김밥',\n",
       " '김치',\n",
       " '김치찌개',\n",
       " '깍두기',\n",
       " '껍질',\n",
       " '꼬치',\n",
       " '나라',\n",
       " '나름',\n",
       " '나머지',\n",
       " '나무',\n",
       " '나중',\n",
       " '낙지',\n",
       " '날씨',\n",
       " '남자',\n",
       " '남자친구',\n",
       " '남편',\n",
       " '남포동',\n",
       " '내부',\n",
       " '내장',\n",
       " '냄비',\n",
       " '냄새',\n",
       " '냉면',\n",
       " '노래',\n",
       " '노력',\n",
       " '녹차',\n",
       " '뉴욕',\n",
       " '느낌',\n",
       " '니다',\n",
       " '닌자',\n",
       " '다리',\n",
       " '다음',\n",
       " '다음날',\n",
       " '다음번',\n",
       " '다행',\n",
       " '단골',\n",
       " '단맛',\n",
       " '단위',\n",
       " '단점',\n",
       " '단체',\n",
       " '단팥빵',\n",
       " '달걀',\n",
       " '달러',\n",
       " '닭갈비',\n",
       " '닭강정',\n",
       " '닭고기',\n",
       " '대가',\n",
       " '대게',\n",
       " '대기',\n",
       " '대도',\n",
       " '대로',\n",
       " '대부분',\n",
       " '대비',\n",
       " '대신',\n",
       " '대전',\n",
       " '대전역',\n",
       " '대접',\n",
       " '대중',\n",
       " '대체',\n",
       " '대표',\n",
       " '대형',\n",
       " '대화',\n",
       " '덕분',\n",
       " '데이트',\n",
       " '도넛',\n",
       " '도로',\n",
       " '도보',\n",
       " '도시',\n",
       " '도우',\n",
       " '도움',\n",
       " '도전',\n",
       " '도착',\n",
       " '도쿄',\n",
       " '도쿄 역',\n",
       " '동네',\n",
       " '동대문',\n",
       " '동료',\n",
       " '동시',\n",
       " '동안',\n",
       " '돼지',\n",
       " '돼지고기',\n",
       " '돼지국밥',\n",
       " '된장',\n",
       " '된장국',\n",
       " '된장찌개',\n",
       " '두부',\n",
       " '둔산동',\n",
       " '등급',\n",
       " '등등',\n",
       " '등심',\n",
       " '디너',\n",
       " '디자인',\n",
       " '디저트',\n",
       " '딤섬',\n",
       " '딸기',\n",
       " '때문',\n",
       " '떡볶이',\n",
       " '라고',\n",
       " '라멘',\n",
       " '라면',\n",
       " '라운지',\n",
       " '라이브',\n",
       " '라인',\n",
       " '라자냐',\n",
       " '랜드',\n",
       " '레드',\n",
       " '레스토랑',\n",
       " '로비',\n",
       " '로컬',\n",
       " '롯데',\n",
       " '롯데리아',\n",
       " '롯데호텔',\n",
       " '리뷰',\n",
       " '리스트',\n",
       " '리필',\n",
       " '마늘',\n",
       " '마다',\n",
       " '마리',\n",
       " '마무리',\n",
       " '마시기',\n",
       " '마을',\n",
       " '마음',\n",
       " '마지막',\n",
       " '마찬가지',\n",
       " '마카롱',\n",
       " '막걸리',\n",
       " '막국수',\n",
       " '만두',\n",
       " '만석',\n",
       " '만원',\n",
       " '만족',\n",
       " '만족도',\n",
       " '만큼',\n",
       " '말씀',\n",
       " '맛나',\n",
       " '맛집',\n",
       " '망고',\n",
       " '맞은편',\n",
       " '매니저',\n",
       " '매력',\n",
       " '매운맛',\n",
       " '매장',\n",
       " '매콤',\n",
       " '맥도날드',\n",
       " '맥주',\n",
       " '메뉴',\n",
       " '메밀',\n",
       " '메이드',\n",
       " '메이드 카페',\n",
       " '메인',\n",
       " '멕시코',\n",
       " '명동',\n",
       " '명성',\n",
       " '모델링',\n",
       " '모두',\n",
       " '모듬',\n",
       " '모모',\n",
       " '모습',\n",
       " '모양',\n",
       " '모임',\n",
       " '목록',\n",
       " '무례',\n",
       " '무료',\n",
       " '무시',\n",
       " '무침',\n",
       " '무한',\n",
       " '문제',\n",
       " '문화',\n",
       " '물건',\n",
       " '물고기',\n",
       " '미국',\n",
       " '미소',\n",
       " '미역국',\n",
       " '밀면',\n",
       " '밑반찬',\n",
       " '바다',\n",
       " '바닥',\n",
       " '바닷가',\n",
       " '바람',\n",
       " '바비큐',\n",
       " '바텐더',\n",
       " '반찬',\n",
       " '발견',\n",
       " '발리',\n",
       " '방문',\n",
       " '방법',\n",
       " '방송',\n",
       " '방식',\n",
       " '방콕',\n",
       " '배달',\n",
       " '배치',\n",
       " '백화점',\n",
       " '밴드',\n",
       " '버거',\n",
       " '버섯',\n",
       " '버스',\n",
       " '버터',\n",
       " '번호',\n",
       " '베네딕트',\n",
       " '베이커리',\n",
       " '베이컨',\n",
       " '베트남',\n",
       " '변경',\n",
       " '변화',\n",
       " '별도',\n",
       " '별미',\n",
       " '보니',\n",
       " '보석',\n",
       " '보쌈',\n",
       " '보장',\n",
       " '보통',\n",
       " '볶음',\n",
       " '볶음밥',\n",
       " '본점',\n",
       " '봉사',\n",
       " '부담',\n",
       " '부모',\n",
       " '부분',\n",
       " '부산',\n",
       " '부산대',\n",
       " '부산역',\n",
       " '부엌',\n",
       " '부위',\n",
       " '부족',\n",
       " '부추',\n",
       " '부탁',\n",
       " '부페',\n",
       " '북적',\n",
       " '분도',\n",
       " '분위기',\n",
       " '분이',\n",
       " '분점',\n",
       " '불고기',\n",
       " '불만',\n",
       " '불편',\n",
       " '뷔페',\n",
       " '브랜드',\n",
       " '브런치',\n",
       " '블로그',\n",
       " '비교',\n",
       " '비빔밥',\n",
       " '비용',\n",
       " '비즈니스',\n",
       " '빈대떡',\n",
       " '빙수',\n",
       " '빵집',\n",
       " '사과',\n",
       " '사람',\n",
       " '사랑',\n",
       " '사리',\n",
       " '사막',\n",
       " '사서',\n",
       " '사시미',\n",
       " '사실',\n",
       " '사용',\n",
       " '사용자',\n",
       " '사이',\n",
       " '사이드',\n",
       " '사이즈',\n",
       " '사이트',\n",
       " '사장',\n",
       " '사전',\n",
       " '사진',\n",
       " '사항',\n",
       " '산책',\n",
       " '삼겹살',\n",
       " '삼계탕',\n",
       " '상대',\n",
       " '상점',\n",
       " '상태',\n",
       " '새우',\n",
       " '샌드위치',\n",
       " '샐러드',\n",
       " '생각',\n",
       " '생맥주',\n",
       " '생선',\n",
       " '생일',\n",
       " '샤브샤브',\n",
       " '샴페인',\n",
       " '서면',\n",
       " '서버',\n",
       " '서비스',\n",
       " '서빙',\n",
       " '서서',\n",
       " '서양',\n",
       " '서양식',\n",
       " '서울',\n",
       " '서울역',\n",
       " '선물',\n",
       " '선택',\n",
       " '선호',\n",
       " '설렁탕',\n",
       " '설명',\n",
       " '설빙',\n",
       " '설정',\n",
       " '성급',\n",
       " '성비',\n",
       " '성심당',\n",
       " '세계',\n",
       " '세상',\n",
       " '세트',\n",
       " '섹션',\n",
       " '센터',\n",
       " '셀프',\n",
       " '셰프',\n",
       " '소개',\n",
       " '소고기',\n",
       " '소금',\n",
       " '소리',\n",
       " '소문',\n",
       " '소바',\n",
       " '소스',\n",
       " '소시지',\n",
       " '소주',\n",
       " '속도',\n",
       " '손님',\n",
       " '쇠고기',\n",
       " '쇼핑',\n",
       " '수도',\n",
       " '수요미식회',\n",
       " '수용',\n",
       " '수육',\n",
       " '수제',\n",
       " '수준',\n",
       " '수프',\n",
       " '수행',\n",
       " '숙박',\n",
       " '숙소',\n",
       " '순간',\n",
       " '순대',\n",
       " '술집',\n",
       " '숯불',\n",
       " '쉐프',\n",
       " '슈퍼',\n",
       " '스타',\n",
       " '스타벅스',\n",
       " '스타일',\n",
       " '스테이크',\n",
       " '스튜',\n",
       " '스파게티',\n",
       " '스페셜',\n",
       " '스페인',\n",
       " '스프',\n",
       " '시간',\n",
       " '시간대',\n",
       " '시금치',\n",
       " '시내',\n",
       " '시도',\n",
       " '시설',\n",
       " '시스템',\n",
       " '시식',\n",
       " '시작',\n",
       " '시장',\n",
       " '시청',\n",
       " '시험',\n",
       " '식당',\n",
       " '식사',\n",
       " '신경',\n",
       " '신속',\n",
       " '실내',\n",
       " '실망',\n",
       " '실수',\n",
       " '실제',\n",
       " '실패',\n",
       " '쌀국수',\n",
       " '아기',\n",
       " '아내',\n",
       " '아니',\n",
       " '아들',\n",
       " '아래',\n",
       " '아메리카노',\n",
       " '아무것',\n",
       " '아보카도',\n",
       " '아쉬움',\n",
       " '아시아',\n",
       " '아웃',\n",
       " '아웃백',\n",
       " '아이',\n",
       " '아이들',\n",
       " '아이스',\n",
       " '아이스크림',\n",
       " '아주머니',\n",
       " '아침',\n",
       " '아키하바라',\n",
       " '안나',\n",
       " '안내',\n",
       " '안심',\n",
       " '안주',\n",
       " '안쪽',\n",
       " '애프터',\n",
       " '야경',\n",
       " '야외',\n",
       " '야채',\n",
       " '약간',\n",
       " '약속',\n",
       " '양고기',\n",
       " '양념',\n",
       " '양도',\n",
       " '양배추',\n",
       " '양식',\n",
       " '양은',\n",
       " '양이',\n",
       " '양파',\n",
       " '얘기',\n",
       " '어른',\n",
       " '어머니',\n",
       " '어묵',\n",
       " '언급',\n",
       " '언어',\n",
       " '얼마',\n",
       " '얼음',\n",
       " '엄마',\n",
       " '에그',\n",
       " '에선',\n",
       " '여름',\n",
       " '여성',\n",
       " '여유',\n",
       " '여자',\n",
       " '여자친구',\n",
       " '여행',\n",
       " '여행객',\n",
       " '여행자',\n",
       " '역사',\n",
       " '연결',\n",
       " '연기',\n",
       " '연어',\n",
       " '연인',\n",
       " '연주',\n",
       " '영어',\n",
       " '영업',\n",
       " '영화',\n",
       " '예상',\n",
       " '예술',\n",
       " '예약',\n",
       " '예전',\n",
       " '예정',\n",
       " '옛날',\n",
       " '오늘',\n",
       " '오뎅',\n",
       " '오랜만',\n",
       " '오랫동안',\n",
       " '오른쪽',\n",
       " '오리',\n",
       " '오믈렛',\n",
       " '오전',\n",
       " '오징어',\n",
       " '오픈',\n",
       " '오후',\n",
       " '온라인',\n",
       " '옵션',\n",
       " '와서',\n",
       " '와이파이',\n",
       " '와인',\n",
       " '와플',\n",
       " '완벽',\n",
       " '완전',\n",
       " '외관',\n",
       " '외국',\n",
       " '외국인',\n",
       " '외부',\n",
       " '외식',\n",
       " '왼쪽',\n",
       " '요구',\n",
       " '요금',\n",
       " '요리',\n",
       " '요리사',\n",
       " '요즘',\n",
       " '요청',\n",
       " '우동',\n",
       " '우리나라',\n",
       " '우수',\n",
       " '우유',\n",
       " '운영',\n",
       " '원래',\n",
       " '원조',\n",
       " '웨이',\n",
       " '웨이터',\n",
       " '위생',\n",
       " '위층',\n",
       " '위치',\n",
       " '유럽',\n",
       " '유로',\n",
       " '유리',\n",
       " '유명',\n",
       " '유명세',\n",
       " '유명한',\n",
       " '유일한',\n",
       " '유지',\n",
       " '유형',\n",
       " '육개장',\n",
       " '육수',\n",
       " '육전',\n",
       " '육회',\n",
       " '음료',\n",
       " '음식',\n",
       " '음식점',\n",
       " '음악',\n",
       " '응대',\n",
       " '의미',\n",
       " '의사',\n",
       " '의심',\n",
       " '의자',\n",
       " '이고',\n",
       " '이나',\n",
       " '이다',\n",
       " '이동',\n",
       " '이랑',\n",
       " '이름',\n",
       " '이번',\n",
       " '이벤트',\n",
       " '이상',\n",
       " '이서',\n",
       " '이스',\n",
       " '이야기',\n",
       " '이예',\n",
       " '이외',\n",
       " '이용',\n",
       " '이유',\n",
       " '이전',\n",
       " '이제',\n",
       " '이집',\n",
       " '이탈리아',\n",
       " '이탈리안',\n",
       " '이태리',\n",
       " '이태원',\n",
       " '이하',\n",
       " '이해',\n",
       " '이후',\n",
       " '인근',\n",
       " '인기',\n",
       " '인당',\n",
       " '인도',\n",
       " '인분',\n",
       " '인사',\n",
       " '인사동',\n",
       " '인삼',\n",
       " '인상',\n",
       " '인생',\n",
       " '인정',\n",
       " '인지',\n",
       " '인터넷',\n",
       " '인테리어',\n",
       " '일반',\n",
       " '일본',\n",
       " '일본어',\n",
       " '일본인',\n",
       " '일부',\n",
       " '일식',\n",
       " '일요일',\n",
       " '일품',\n",
       " '일행',\n",
       " '임페리얼',\n",
       " '입구',\n",
       " '입맛',\n",
       " '입안',\n",
       " '입장',\n",
       " '있다',\n",
       " '자극',\n",
       " '자랑',\n",
       " '자리',\n",
       " '자신',\n",
       " '자주',\n",
       " '자체',\n",
       " '작년',\n",
       " '작성',\n",
       " '작업',\n",
       " '잘 먹었습니다',\n",
       " '잘못',\n",
       " '장사',\n",
       " '장소',\n",
       " '장식',\n",
       " '장어',\n",
       " '장점',\n",
       " '재료',\n",
       " '재미',\n",
       " '재즈',\n",
       " '저녁',\n",
       " '적극',\n",
       " '전골',\n",
       " '전국',\n",
       " '전망',\n",
       " '전문',\n",
       " '전문점',\n",
       " '전반',\n",
       " '전복',\n",
       " '전복죽',\n",
       " '전용',\n",
       " '전주',\n",
       " '전채',\n",
       " '전체',\n",
       " '전통',\n",
       " '전형',\n",
       " '전화',\n",
       " '절대',\n",
       " '절반',\n",
       " '점심',\n",
       " '점심때',\n",
       " '점심시간',\n",
       " '접근성',\n",
       " '접시',\n",
       " '정도',\n",
       " '정말',\n",
       " '정보',\n",
       " '정성',\n",
       " '정식',\n",
       " '정신',\n",
       " '정원',\n",
       " '정통',\n",
       " '제가',\n",
       " '제공',\n",
       " '제안',\n",
       " '제외',\n",
       " '제일',\n",
       " '제주',\n",
       " '제주도',\n",
       " '제품',\n",
       " '제한',\n",
       " '조각',\n",
       " '조개',\n",
       " '조금',\n",
       " '조리',\n",
       " '조명',\n",
       " '조미료',\n",
       " '조식',\n",
       " '조심',\n",
       " '조합',\n",
       " '조화',\n",
       " '족발',\n",
       " '종류',\n",
       " '종업원',\n",
       " '종일',\n",
       " '좋아서',\n",
       " '좌석',\n",
       " '주말',\n",
       " '주문',\n",
       " '주민',\n",
       " '주방',\n",
       " '주방장',\n",
       " '주변',\n",
       " '주스',\n",
       " '주위',\n",
       " '주의',\n",
       " '주인',\n",
       " '주차',\n",
       " '주차장',\n",
       " '준비',\n",
       " '중간',\n",
       " '중국',\n",
       " '중독',\n",
       " '중식',\n",
       " '중심',\n",
       " '쥬스',\n",
       " '즉석',\n",
       " '지금',\n",
       " '지도',\n",
       " '지만',\n",
       " '지방',\n",
       " '지불',\n",
       " '지역',\n",
       " '지원',\n",
       " '지인',\n",
       " '지점',\n",
       " '지하',\n",
       " '지하철',\n",
       " '직원',\n",
       " '직장인',\n",
       " '진짜',\n",
       " '진한',\n",
       " '질문',\n",
       " '집으로',\n",
       " '집중',\n",
       " '짜장면',\n",
       " '짬뽕',\n",
       " '차이',\n",
       " '참고',\n",
       " '참치',\n",
       " '창가',\n",
       " '창문',\n",
       " '채소',\n",
       " '채식',\n",
       " '채식주의',\n",
       " '채식주의자',\n",
       " '처리',\n",
       " '처음',\n",
       " '천원',\n",
       " '천장',\n",
       " '철판',\n",
       " '청결',\n",
       " '청소',\n",
       " '체인',\n",
       " '체인점',\n",
       " '체크',\n",
       " '초밥',\n",
       " '초콜릿',\n",
       " '최고',\n",
       " '최근',\n",
       " '최대',\n",
       " '최상',\n",
       " '최악',\n",
       " '추가',\n",
       " '추어탕',\n",
       " '추억',\n",
       " '추천',\n",
       " '축하',\n",
       " '출구',\n",
       " '출장',\n",
       " '취향',\n",
       " '치즈',\n",
       " '치킨',\n",
       " '친구',\n",
       " '친절',\n",
       " '칠리',\n",
       " '카드',\n",
       " '카레',\n",
       " '카운터',\n",
       " '카페',\n",
       " '칵테일',\n",
       " '칼국수',\n",
       " '캐주얼',\n",
       " '커리',\n",
       " '커서',\n",
       " '커플',\n",
       " '커피',\n",
       " '커피숍',\n",
       " '케이크',\n",
       " '케익',\n",
       " '코너',\n",
       " '코스',\n",
       " '코트',\n",
       " '콩국수',\n",
       " '콩나물',\n",
       " '쿠폰',\n",
       " '크기',\n",
       " '크림',\n",
       " '크림치즈',\n",
       " '클럽',\n",
       " '키친',\n",
       " '타워',\n",
       " '타이',\n",
       " '타임',\n",
       " '타코',\n",
       " '타파스',\n",
       " '탕수육',\n",
       " '태국',\n",
       " '태도',\n",
       " '택시',\n",
       " '테라스',\n",
       " '테마',\n",
       " '테이블',\n",
       " '테이크',\n",
       " '테이크아웃',\n",
       " '토마토',\n",
       " '토스트',\n",
       " '토요일',\n",
       " '통닭',\n",
       " '튀김',\n",
       " '트리스',\n",
       " '특색',\n",
       " '특선',\n",
       " '특유',\n",
       " '특정',\n",
       " '특징',\n",
       " '티켓',\n",
       " '파니니',\n",
       " '파리',\n",
       " '파스타',\n",
       " '파이',\n",
       " '파전',\n",
       " '파크',\n",
       " '파트너',\n",
       " '파티',\n",
       " '판매',\n",
       " '팟타이',\n",
       " '팥빙수',\n",
       " '패키지',\n",
       " '패티',\n",
       " '팬케이크',\n",
       " '편리',\n",
       " '편안',\n",
       " '평가',\n",
       " '평균',\n",
       " '평소',\n",
       " '평양',\n",
       " '평일',\n",
       " '포인트',\n",
       " '포장',\n",
       " '포함',\n",
       " '표시',\n",
       " '표준',\n",
       " '표현',\n",
       " '푸드',\n",
       " '품질',\n",
       " '풍경',\n",
       " '풍미',\n",
       " '퓨전',\n",
       " '프랑스',\n",
       " '프랜차이즈',\n",
       " '프레젠테이션',\n",
       " '프렌치',\n",
       " '프렌치 토스트',\n",
       " '프로',\n",
       " '프로모션',\n",
       " '프리미엄',\n",
       " '피자',\n",
       " '필수',\n",
       " '필요',\n",
       " '하기',\n",
       " '하나',\n",
       " '하나하나',\n",
       " '하네다',\n",
       " '하녀',\n",
       " '하루',\n",
       " '하면',\n",
       " '하얏트',\n",
       " '하우스',\n",
       " '하지',\n",
       " '학생',\n",
       " '한가지',\n",
       " '한곳',\n",
       " '한국',\n",
       " '한국어',\n",
       " '한국인',\n",
       " '한번',\n",
       " '한번쯤',\n",
       " '한식',\n",
       " '한옥',\n",
       " '한우',\n",
       " '한잔',\n",
       " '한편',\n",
       " '할랄',\n",
       " '할인',\n",
       " '합리',\n",
       " '항목',\n",
       " '해결',\n",
       " '해당',\n",
       " '해물',\n",
       " '해변',\n",
       " '해산물',\n",
       " '해서',\n",
       " '해외',\n",
       " '해운대',\n",
       " '해장',\n",
       " '해장국',\n",
       " '해주시',\n",
       " '햄버거',\n",
       " '행복',\n",
       " '행사',\n",
       " '향신료',\n",
       " '허용',\n",
       " '현금',\n",
       " '현대',\n",
       " '현지',\n",
       " '현지인',\n",
       " '호가',\n",
       " '호떡',\n",
       " '호박',\n",
       " '호텔',\n",
       " '혼자',\n",
       " '혼잡',\n",
       " '혼합',\n",
       " '홍대',\n",
       " '홍콩',\n",
       " '홍합',\n",
       " '화덕',\n",
       " '화장실',\n",
       " '확인',\n",
       " '환경',\n",
       " '환상',\n",
       " '환영',\n",
       " '황남빵',\n",
       " '회사',\n",
       " '회식',\n",
       " '회의',\n",
       " '회전',\n",
       " '효율',\n",
       " '후기',\n",
       " '후식',\n",
       " '후회',\n",
       " '휴가',\n",
       " '휴식',\n",
       " '흥미']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words = tfidf.get_feature_names()\n",
    "words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<36477x1000 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 345835 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tdm_tfidf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(36477, 1000)"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tdm_tfidf.todense().shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(1000, 1000)"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 피어슨상관계수\n",
    "word_corr = np.corrcoef(tdm_tfidf.todense(), rowvar=0)\n",
    "word_corr.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([1.        , 0.13381616])"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_corr[0][:2]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(499500, 3)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>word1</th>\n",
       "      <th>word2</th>\n",
       "      <th>weight</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>!!</td>\n",
       "      <td>!!!</td>\n",
       "      <td>0.133816</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>!!</td>\n",
       "      <td>가게</td>\n",
       "      <td>0.001740</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>!!</td>\n",
       "      <td>가격</td>\n",
       "      <td>-0.017449</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>!!</td>\n",
       "      <td>가도</td>\n",
       "      <td>0.020626</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>!!</td>\n",
       "      <td>가루</td>\n",
       "      <td>0.001546</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  word1 word2    weight\n",
       "0    !!   !!!  0.133816\n",
       "1    !!    가게  0.001740\n",
       "2    !!    가격 -0.017449\n",
       "3    !!    가도  0.020626\n",
       "4    !!    가루  0.001546"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "edges = []\n",
    "for i in range(len(words)):\n",
    "    for j in range(i+1, len(words)):\n",
    "        edges.append((words[i], words[j], word_corr[i,j]))\n",
    "edges = pd.DataFrame(edges, columns=['word1','word2','weight'])\n",
    "print(edges.shape)\n",
    "edges.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>word1</th>\n",
       "      <th>word2</th>\n",
       "      <th>weight</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>417565</th>\n",
       "      <td>웨이</td>\n",
       "      <td>트리스</td>\n",
       "      <td>0.975484</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>372108</th>\n",
       "      <td>아웃</td>\n",
       "      <td>테이크</td>\n",
       "      <td>0.686122</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>266810</th>\n",
       "      <td>베네딕트</td>\n",
       "      <td>에그</td>\n",
       "      <td>0.612273</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19810</th>\n",
       "      <td>간장</td>\n",
       "      <td>게장</td>\n",
       "      <td>0.573114</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>131748</th>\n",
       "      <td>냉면</td>\n",
       "      <td>평양</td>\n",
       "      <td>0.508119</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       word1 word2    weight\n",
       "417565    웨이   트리스  0.975484\n",
       "372108    아웃   테이크  0.686122\n",
       "266810  베네딕트    에그  0.612273\n",
       "19810     간장    게장  0.573114\n",
       "131748    냉면    평양  0.508119"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "threshold = 0\n",
    "edges_filtered = edges[edges['weight']>threshold].sort_values(by='weight', ascending=False)\n",
    "edges_filtered.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "edges_filtered.iloc[:100].to_csv('edge_list_100.csv', index=False, encoding='utf-8-sig')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}