크롤링 강의 3일차-2.riss 상세수집.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      "2.파일을 저장할 폴더명만 쓰세요(기본값:/Users/mujae/Documents): 11\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "검색하신 키워드 빅데이터 (으)로 총 5,870 건의 학위논문이 검색되었습니다\n"
     ]
    },
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      " 11\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "11 건의 데이터를 수집하기 위해 2 페이지의 게시물을 조회합니다.\n",
      "\n",
      "\n",
      "\n",
      "\n",
      "1 페이지 내용 수집 시작합니다 =======================\n",
      "\n",
      "\n",
      "1 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 1\n",
      "2.제목 : 동형암호를 이용한 개인정보 등 빅데이터의 범죄분석 활용방안 연구\n",
      "3.작성자 : 정대희\n",
      "4.소속기관 : 서울대학교 대학원\n",
      "5.발표년도 : 2021\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : Due to the spread of smartphones and the generalization of Internet banking, modern people are constantly pouring out vast amounts of personal information whether they want it or not. The collection of these data formed a new concept called 'big data'...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=4bb3fbc6b58c7883ffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "2 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 2\n",
      "2.제목 : 빅데이터를 활용한 대학구조개혁 평가의 키워드 및 토픽 분석\n",
      "3.작성자 : 김지은\n",
      "4.소속기관 : 서울대학교 대학원\n",
      "5.발표년도 : 2017\n",
      "6.학위여부 : 국내박사\n",
      "7.초록내용 : 컴퓨터 하드웨어 및 소프트웨어의 기술적 발전과 다양한 정보 채널이 폭발적으로 늘어나면서 이로 인해 생성, 축적되는 빅데이터의 분석 및  활용에 대한 관심이 증대되고 있다. 사회과학 ...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=2474dfdb691175bdffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "3 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 3\n",
      "2.제목 : 조직, 개인 그리고 경영품질 관점에서 기업의 빅데이터 활용의도에 영향을 미치는 핵심요인에 관한 연구\n",
      "3.작성자 : 신수행\n",
      "4.소속기관 : 전남대학교\n",
      "5.발표년도 : 2019\n",
      "6.학위여부 : 국내박사\n",
      "7.초록내용 : Recently the term '4th industrial revolution' was mentioned in the World Economic Forum (WEF). Since then, it has become a representative of the new 'next-generation industrial revolution' based on information and communication technology (ICT) and is...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=30bd6c9883e852acffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "4 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 4\n",
      "2.제목 : 빅데이터 분석의 사용이 은행 CRM 가치 창출에 미치는 영향 : 고객 상호관계 관점으로\n",
      "3.작성자 : 박성수\n",
      "4.소속기관 : 성균관대학교 경영전문대학원\n",
      "5.발표년도 : 2019\n",
      "6.학위여부 : 국내박사\n",
      "7.초록내용 : 빅데이터는 데이터의 양(Volume), 속도(Velocity), 다양성(Variety)에 정확성(Veracity)과 가치(Value)를 더한 5V로 정의된다. 빅데이터는 고객의 트렌드와 사회적 행동을 파악해 보다 정확한 분석으로 새...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=b9547dba5233f574ffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "5 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 5\n",
      "2.제목 : 빅데이터 분석 사업의 정보시스템 감리에 대한 연구\n",
      "3.작성자 : 박성남\n",
      "4.소속기관 : 건국대학교 정보통신대학원\n",
      "5.발표년도 : 2015\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 빅데이터 시대가 도래되면서 공공기관과 기업체에서 빅데이터의 활용성이 높아지고 수요도 증가하고 있는 반면 빅데이터분석 사업에 적용 할 수 있는 표준화된 감리 점검항목이 없어 빅데...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=4bf391674fa4f61effe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "6 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 6\n",
      "2.제목 : 빅데이터 활용 탐구 수업의 설계 효과 : 빅데이터 활용 역량과 학습만족도를 중심으로\n",
      "3.작성자 : 윤한나\n",
      "4.소속기관 : 한국교원대학교 교육대학원\n",
      "5.발표년도 : 2022\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 디지털 시대에 많은 양의 데이터가 축적되고 있는 가운데, 최신 정보통신 기술(ICT)과 맞물려 있는 중요한 근거자료인 빅데이터(Big Data)는 높은 활용 가치로 많은 관심을 받고 있다. 이에 따라...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=6c4973b3d327a3d6ffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "7 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 7\n",
      "2.제목 : IPA기법을 활용한 제조분야의 빅데이터 수용도 분석 : IT 분야 제조 A社 중심\n",
      "3.작성자 : 주혁\n",
      "4.소속기관 : 성균관대학교 일반대학원\n",
      "5.발표년도 : 2015\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 계측, 센서, 정보기술의 발달로 인하여 다양한 분야에서 다양하게 많은 데이터가 쏟아져 나오고 있다. 경영환경의 변화 속도가 빨라지고 복잡도가 높아질수록 미래를 예측하는 역량이 중요...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=32f87df1f0c77b5affe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "8 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 8\n",
      "2.제목 : 기후변화 정책 의사결정 지원을 위한 빅데이터 분석\n",
      "3.작성자 : 정예림\n",
      "4.소속기관 : 부산대학교\n",
      "5.발표년도 : 2019\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 빅데이터(Big Data)란 아주 방대한 양의 데이터를 말하며, 넓게는 수집 및 분석과 관련된 기술 및 도구를 포함하는 단어로, 소셜 미디어 사용이 증가하며 정책 의제 결정의 패러다임이 정치적 ...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=770eb64b95c256cdffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "9 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 9\n",
      "2.제목 : 사회과학의 텍스트로서 빅데이터\n",
      "3.작성자 : 정준석\n",
      "4.소속기관 : 경기대학교 정치전문대학원\n",
      "5.발표년도 : 2019\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 제4차산업시대의 사회변화 방향은 여전히 예측하기 어려운 것이 현실이다. 재화생산 과정에서 인간의 노동력은 첨단기술들의 조합으로 대체되고, 생산성이 극대화될 것이다. 이러한 상황이...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=7dce3f800423571affe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "10 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 10\n",
      "2.제목 : 빅데이터를 이용한 부산항신항 ITT 효율적인 운영방안에 관한 연구\n",
      "3.작성자 : 백용주\n",
      "4.소속기관 : 한국해양대학교 해양금융물류대학원\n",
      "5.발표년도 : 2017\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : The global maritime crisis and the financial slowdown are accelerating a fierce competition to induce container cargo volumes against other global ports.In particular, this competition among them is more intensified by offering large-scale incentives...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=da2ebf0843c84bf3ffe0bdc3ef48d419&keyword=빅데이터\n",
      "\n",
      "\n",
      "2 페이지 내용 수집 시작합니다 =======================\n",
      "\n",
      "\n",
      "11 번째 정보를 추출하고 있습니다============\n",
      "1.번호 : 11\n",
      "2.제목 : 음식관광 빅데이터를 이용한 관광목적지 브랜드 개성에 관한 연구: 방한 중국인 관광객을 중심으로\n",
      "3.작성자 : 연진\n",
      "4.소속기관 : 세종대학교 대학원\n",
      "5.발표년도 : 2018\n",
      "6.학위여부 : 국내석사\n",
      "7.초록내용 : 본 연구는 기존 관광목적지 브랜드 개성에 관한 선행연구들이 주로 사용한 설문 조사방식에서 벗어나 음식관광 빅데이터를 이용하여 방한 중국인 관광객을 대상으로 한국의 관광목적지 브...\n",
      "8.논문 URL 주소: http://www.riss.kr/search/detail/DetailView.do?p_mat_type=be54d9b8bc7cdb09&control_no=779de83f96371ffeffe0bdc3ef48d419&keyword=빅데이터\n",
      "요청하신 작업이 모두 완료되었습니다\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/mujae/Desktop/anaconda3/lib/python3.10/site-packages/pandas/util/_decorators.py:211: FutureWarning: the 'encoding' keyword is deprecated and will be removed in a future version. Please take steps to stop the use of 'encoding'\n",
      "  return func(*args, **kwargs)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "요청하신 데이터 수집 작업이 정상적으로 완료되었습니다\n"
     ]
    }
   ],
   "source": [
    "# Chap 15.riss.kr 에서 특정 키워드로 논문 / 학술 자료 검색하기\n",
    "\n",
    "#Step 1. 필요한 모듈을 로딩합니다\n",
    "from selenium import webdriver\n",
    "from selenium.webdriver.common.by import By\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "# from selenium.webdriver.chrome.service import Service\n",
    "import time \n",
    "\n",
    "#Step 2. 사용자에게 검색 관련 정보들을 입력 받습니다.\n",
    "query_txt = '빅데이터'\n",
    "\n",
    "#Step 3. 수집된 데이터를 저장할 파일 이름 입력받기 \n",
    "f_dir = input(\"2.파일을 저장할 폴더명만 쓰세요(기본값:/Users/mujae/Documents):\") #/Users/mujae/Documents\n",
    "if f_dir == '' :\n",
    "    f_dir=\"/Users/mujae/Documents\"\n",
    "\n",
    "#Step 4. 크롬 드라이버 설정 및 웹 페이지 열기\n",
    "driver = webdriver.Chrome()\n",
    "url = 'http://www.riss.kr/'\n",
    "driver.get(url)\n",
    "driver.maximize_window()\n",
    "main = driver.window_handles\n",
    "for i in main:\n",
    "    if i !=main[0]:\n",
    "        driver.switch_to.window(i)\n",
    "        driver.close()\n",
    "driver.switch_to.window(driver.window_handles[0]) # driver.switch_to.window(main[0])도 가능\n",
    "time.sleep(2)\n",
    "\n",
    "#Step 5. 자동으로 검색어 입력 후 조회하기\n",
    "driver.find_element(By.ID,'query').send_keys(query_txt+'\\n')\n",
    "\n",
    "#Step 6.학위 논문 선택하기\n",
    "driver.find_element(By.LINK_TEXT,'학위논문').click()\n",
    "time.sleep(2)\n",
    "\n",
    "#Step 7.Beautiful Soup 로 본문 내용만 추출하기\n",
    "from bs4 import BeautifulSoup\n",
    "soup_1 = BeautifulSoup(driver.page_source, 'html.parser')\n",
    "\n",
    "#Step 8. 총 검색 건수를 보여주고 수집할 건수 입력받기\n",
    "import math\n",
    "total_cnt = soup_1.find('div','searchBox pd').find('span','num').get_text()\n",
    "print('검색하신 키워드 %s (으)로 총 %s 건의 학위논문이 검색되었습니다' %(query_txt,total_cnt))\n",
    "cnt = int(input())\n",
    "page_cnt = math.ceil(cnt / 10)\n",
    "print('%s 건의 데이터를 수집하기 위해 %s 페이지의 게시물을 조회합니다.' %(cnt,page_cnt))\n",
    "print(\"\\n\")\n",
    "\n",
    "#Step 9. 데이터 수집하기\n",
    "no2=[]           # 게시글 번호 컬럼\n",
    "title2=[ ]       # 게시글 제목 컬럼\n",
    "author2=[]       # 논문 저자 컬럼\n",
    "company2=[ ]     # 소속 기관 컬럼\n",
    "date2=[ ]        # 게시글 날짜 컬럼\n",
    "suksa2=[ ]       # 국내석사 컬럼\n",
    "contents2=[]     # 초록내용\n",
    "full_url2=[]     # 논문 원본 URL\n",
    "\n",
    "no = 1           # 게시글 번호 초기값\n",
    "            \n",
    "for a in range(1,page_cnt+1) :\n",
    "    print(\"\\n\")\n",
    "    print(\"%s 페이지 내용 수집 시작합니다 =======================\" %a)\n",
    "    time.sleep(2)\n",
    "    soup = BeautifulSoup(driver.page_source, 'html.parser')\n",
    "    content_list = soup.find('div','srchResultListW').find_all('li')\n",
    "\n",
    "    for i in content_list:\n",
    "        # 논문 제목 체크하기\n",
    "        try:\n",
    "            title=i.find('p','title').get_text().strip()\n",
    "        except :\n",
    "            continue \n",
    "        else :\n",
    "            # 1.게시글 번호\n",
    "            print(\"\\n\")\n",
    "            print(\"%s 번째 정보를 추출하고 있습니다============\" %no)\n",
    "            no2.append(no)\n",
    "            print(\"1.번호 : %s\" %no)\n",
    "            \n",
    "            # 2. 논문 제목\n",
    "            title2.append(title.strip())\n",
    "            print(\"2.제목 : %s\" %title.strip())\n",
    "\n",
    "            # 3. 작성자\n",
    "            try :\n",
    "                author=i.find('p','etc').find('span','writer').get_text().strip()\n",
    "            except :\n",
    "                author = '작성자가 없습니다'\n",
    "                print(\"3.작성자 : %s\" %author.strip())\n",
    "                author2.append(author.strip())\n",
    "            else :\n",
    "                author2.append(author.strip())\n",
    "                print(\"3.작성자 : %s\" %author.strip())\n",
    "\n",
    "            # 4. 소속기관\n",
    "            try :\n",
    "                company=i.find('p','etc').find('span','assigned').get_text().strip()\n",
    "            except :\n",
    "                company='소속 기관이 없습니다'\n",
    "                company2.append(company.strip())\n",
    "                print(\"4.소속기관 : %s\" %company.strip())\n",
    "            else :\n",
    "                company2.append(company.strip())\n",
    "                print(\"4.소속기관 : %s\" %company.strip())\n",
    "\n",
    "            # 5. 발표날짜\n",
    "            try :\n",
    "                date_1 =i.find('p','etc').find_all('span')\n",
    "                date_2 = date_1[2].get_text().strip()\n",
    "            except :\n",
    "                date_2='발표날짜가 없습니다'\n",
    "                date2.append(date_2)\n",
    "                print(\"5.발표년도 : %s\" %date_2)\n",
    "            else :\n",
    "                date2.append(date_2)\n",
    "                print(\"5.발표년도 : %s\" %date_2)\n",
    "\n",
    "            # 6.학위여부\n",
    "            try :\n",
    "                suksa_1 =i.find('p','etc').find_all('span')\n",
    "                suksa_2 = suksa_1[3].get_text().strip()\n",
    "            except :\n",
    "                suksa_2='학위가 없습니다'\n",
    "                suksa2.append(suksa_2)\n",
    "                print(\"6.학위여부 : %s\" %suksa_2)\n",
    "            else :\n",
    "                suksa2.append(suksa_2)\n",
    "                print(\"6.학위여부 : %s\" %suksa_2)\n",
    "\n",
    "            # 7.초록 내용-해당 논문의 상세 내역에서 추출할 수 있음.    \n",
    "            url_1 = i.find('p','title').find('a')['href']\n",
    "            full_url = 'http://www.riss.kr'+url_1\n",
    "            time.sleep(1)\n",
    "            driver.get(full_url)\n",
    "\n",
    "            soup_1 = BeautifulSoup(driver.page_source, 'html.parser')  \n",
    "            try :\n",
    "                cont=soup_1.find(\"div\",\"text\").find('p').get_text().replace(\"\\n\",\"\").strip()\n",
    "            except :\n",
    "                cont='초록이 없습니다'\n",
    "                contents2.append(cont)\n",
    "                print(\"7.초록내용 : %s\" %cont)\n",
    "            else :\n",
    "                contents2.append(cont)\n",
    "                print(\"7.초록내용 : %s\" %cont)\n",
    "\n",
    "            time.sleep(1)\n",
    "\n",
    "            # 8.논문 url 주소\n",
    "            full_url2.append(full_url)\n",
    "            print('8.논문 URL 주소:' , full_url)\n",
    "\n",
    "            driver.back()  # 이전 페이지로 돌아가기\n",
    "\n",
    "            time.sleep(2)\n",
    "\n",
    "            no += 1\n",
    "            \n",
    "            if no > cnt :\n",
    "                break \n",
    "                            \n",
    "    a += 1 \n",
    "    b = str(a)\n",
    "\n",
    "    try :\n",
    "        driver.find_element(By.LINK_TEXT ,'%s' %b).click() \n",
    "    except :\n",
    "        driver.find_element(By.LINK_TEXT,'다음 페이지로').click()\n",
    "        \n",
    "print(\"요청하신 작업이 모두 완료되었습니다\")\n",
    "\n",
    "# Step 10. 수집된 데이터를 xls와 csv 형태로 저장하기\n",
    "# 현재 날짜와 시간으로 폴더 만들고 파일 이름 설정하기\n",
    "import os\n",
    "\n",
    "n = time.localtime()\n",
    "s = '%04d-%02d-%02d-%02d-%02d-%02d' %(n.tm_year, n.tm_mon, n.tm_mday, n.tm_hour, n.tm_min, n.tm_sec)\n",
    "\n",
    "os.makedirs(f_dir+'RISS'+'-'+s+'-'+'학위논문')\n",
    "\n",
    "fc_name = f_dir+'RISS'+'-'+s+'-'+'학위논문'+'\\\\'+'RISS'+'-'+s+'-'+'학위논문'+'.csv'\n",
    "fx_name = f_dir+'RISS'+'-'+s+'-'+'학위논문'+'\\\\'+'RISS'+'-'+s+'-'+'학위논문'+'.xls'\n",
    "\n",
    "# 데이터 프레임 생성 후 xls , csv 형식으로 저장하기\n",
    "import pandas as pd \n",
    "\n",
    "df = pd.DataFrame()\n",
    "df['번호']=no2\n",
    "df['제목']=pd.Series(title2)\n",
    "df['저자']=pd.Series(author2)\n",
    "df['소속(발행)기관']=pd.Series(company2)\n",
    "df['날짜']=pd.Series(date2)\n",
    "df['학위(논문일경우)']=pd.Series(suksa2)\n",
    "df['초록(논문일경우)']=pd.Series(contents2)\n",
    "df['자료URL주소']=pd.Series(full_url2)\n",
    "\n",
    "# xls 형태로 저장하기\n",
    "df.to_excel(fx_name,index=False, encoding=\"utf-8\" , engine='openpyxl')\n",
    "\n",
    "# csv 형태로 저장하기\n",
    "df.to_csv(fc_name,index=False, encoding=\"utf-8-sig\")\n",
    "\n",
    "print('요청하신 데이터 수집 작업이 정상적으로 완료되었습니다')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "vscode": {
   "interpreter": {
    "hash": "8965150514684192fd1d81b86341baebb0ab118aa72b57568cb073ce4741e3b7"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}