4.1 web_crawling_and_make_dataset_using_selenium.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "레드벨벳 아이린 이미지 크롤링\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 250/250 [00:03<00:00, 81.88it/s]\n",
      "219it [11:20,  3.11s/it]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "강호동 이미지 크롤링\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████| 250/250 [00:03<00:00, 81.86it/s]\n",
      "208it [10:46,  3.11s/it]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "from selenium import webdriver\n",
    "from selenium.webdriver.common.keys import Keys\n",
    "import time\n",
    "import os\n",
    "from urllib.request import urlretrieve\n",
    "from tqdm import tqdm\n",
    "\n",
    "def web_crawler(keyword):\n",
    "    print(\"{} 이미지 크롤링\".format(keyword))\n",
    "\n",
    "    # 웹 접속 - 네이버 이미지 접속\n",
    "    driver = webdriver.Chrome('c:/selenium/chromedriver.exe')\n",
    "    driver.implicitly_wait(30)\n",
    "\n",
    "    url = 'https://search.naver.com/search.naver?where=image&sm=tab_jum&query={}'.format(keyword)\n",
    "    driver.get(url)\n",
    "\n",
    "    #페이지 스크롤 다운\n",
    "    body = driver.find_element_by_css_selector('body')\n",
    "    for i in range(12):\n",
    "        body.send_keys(Keys.PAGE_DOWN)\n",
    "        time.sleep(1)\n",
    "\n",
    "    #이미지 링크 수집\n",
    "    imgs = driver.find_elements_by_css_selector('img._img')\n",
    "    result = []\n",
    "    for img in tqdm(imgs):\n",
    "        if 'http' in img.get_attribute('src'):\n",
    "            result.append(img.get_attribute('src'))\n",
    "\n",
    "    driver.close()\n",
    "\n",
    "    #폴더생성\n",
    "    if not os.path.isdir('./dataset/{}'.format(keyword)):\n",
    "        os.mkdir('./dataset/{}'.format(keyword))\n",
    "\n",
    "    #다운로드\n",
    "    for index, link in tqdm(enumerate(result)):\n",
    "        start = link.rfind('.')\n",
    "        end = link.rfind('&')\n",
    "        # print(link[start:end])\n",
    "        filetype = link[start:end] #.png\n",
    "\n",
    "        urlretrieve(link , './dataset/{}/{}{}{}'.format(keyword,keyword,index,filetype))\n",
    "    time.sleep(3)\n",
    "    \n",
    "\n",
    "keyword_list = [\"레드벨벳 아이린\", \"강호동\"]\n",
    "\n",
    "for keyword in keyword_list:\n",
    "    web_crawler(keyword)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}