크롤링 강의 3일차 -3.쿠팡 크롤링.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "cb73e15e-55e4-4271-89d8-74c1f7265404",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "================================================================================\n",
      " 쿠팡 사이트의 식품 카테고리 Best Seller 상품 정보 추출하기 \n",
      "================================================================================\n"
     ]
    },
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      "1.크롤링 할 건수는 몇건입니까?:  7\n",
      " /Users/mujae/Documents\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "\n",
      "\n",
      "===== 곧 수집된 결과를 출력합니다 ^^ ===== \n",
      "\n",
      "\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 1\n",
      "2.제품소개: 목우촌 국내산 소고기 양지 세절 국거리용 (냉장), 300g, 1개\n",
      "3.판매가격: 12,990\n",
      "4:할인률: 43%\n",
      "5.상품평 수: 36768\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 2\n",
      "2.제품소개: 목우촌 국내산 소고기 안심 (냉장), 300g, 1개\n",
      "3.판매가격: 27,990\n",
      "4:할인률: 0\n",
      "5.상품평 수: 5413\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 3\n",
      "2.제품소개: 락피도 프로바이오틱스 키즈 플러스 60p, 60포, 1개\n",
      "3.판매가격: 22,310\n",
      "4:할인률: 21%\n",
      "5.상품평 수: 1850\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 4\n",
      "2.제품소개: 청정원순창 100% 현미 태양초 찰고추장, 2.8kg, 1개\n",
      "3.판매가격: 16,130\n",
      "4:할인률: 64%\n",
      "5.상품평 수: 88074\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 5\n",
      "2.제품소개: 양반 현미밥, 130g, 24개\n",
      "3.판매가격: 20,500\n",
      "4:할인률: 28%\n",
      "5.상품평 수: 4930\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 6\n",
      "2.제품소개: 다향오리 엄선된 원료육으로 만든 훈제오리 슬라이스, 540g, 1개\n",
      "3.판매가격: 18,000\n",
      "4:할인률: 0\n",
      "5.상품평 수: 44709\n",
      "----------------------------------------------------------------------\n",
      "----------------------------------------------------------------------\n",
      "1.판매순위: 7\n",
      "2.제품소개: 곰곰 한돈 앞다리살 수육용 (냉장), 1kg, 1팩\n",
      "3.판매가격: 15,410\n",
      "4:할인률: 14%\n",
      "5.상품평 수: 18515\n",
      "----------------------------------------------------------------------\n",
      "\n",
      "\n",
      "================================================================================\n",
      "1.요청된 총 7 건의 리뷰 중에서 실제 크롤링 된 리뷰수는 7 건입니다\n",
      "2.총 소요시간은 34.7 초 입니다 \n",
      "3.파일 저장 완료: txt 파일명 : /Users/mujae/Documents2023-07-11-15-30-56-쿠팡-식품\\2023-07-11-15-30-56-쿠팡-식품.txt \n",
      "4.파일 저장 완료: csv 파일명 : /Users/mujae/Documents2023-07-11-15-30-56-쿠팡-식품\\2023-07-11-15-30-56-쿠팡-식품.csv \n",
      "5.파일 저장 완료: xls 파일명 : /Users/mujae/Documents2023-07-11-15-30-56-쿠팡-식품\\2023-07-11-15-30-56-쿠팡-식품.xls \n",
      "================================================================================\n"
     ]
    }
   ],
   "source": [
    "#Step 1. 필요한 모듈과 라이브러리를 로딩합니다.\n",
    "from bs4 import BeautifulSoup\n",
    "from selenium import webdriver\n",
    "import time\n",
    "import pandas as pd    \n",
    "import os\n",
    "import math\n",
    "\n",
    "#Step 2. 사용자에게 검색어 키워드를 입력 받습니다.\n",
    "print(\"=\" *80)\n",
    "print(\" 쿠팡 사이트의 식품 카테고리 Best Seller 상품 정보 추출하기 \")\n",
    "print(\"=\" *80)\n",
    "\n",
    "cnt = int(input('1.크롤링 할 건수는 몇건입니까?: '))\n",
    "page_cnt = math.ceil(cnt/60)\n",
    "\n",
    "f_dir = input()\n",
    "if f_dir == '' :\n",
    "    f_dir = \"c:\\\\temp\\\\\"\n",
    "    \n",
    "print(\"\\n\")\n",
    "\n",
    "#Step 3.저장될 파일 경로와 이름을 지정합니다\n",
    "sec_name = '식품'\n",
    "query_txt = '쿠팡'\n",
    "\n",
    "n = time.localtime()\n",
    "s = '%04d-%02d-%02d-%02d-%02d-%02d' % (n.tm_year, n.tm_mon, n.tm_mday, n.tm_hour, n.tm_min, n.tm_sec)\n",
    "\n",
    "os.makedirs(f_dir+s+'-'+query_txt+'-'+sec_name)\n",
    "os.chdir(f_dir+s+'-'+query_txt+'-'+sec_name)\n",
    "\n",
    "ff_dir=f_dir+s+'-'+query_txt+'-'+sec_name\n",
    "ff_name=f_dir+s+'-'+query_txt+'-'+sec_name+'\\\\'+s+'-'+query_txt+'-'+sec_name+'.txt'\n",
    "fc_name=f_dir+s+'-'+query_txt+'-'+sec_name+'\\\\'+s+'-'+query_txt+'-'+sec_name+'.csv'\n",
    "fx_name=f_dir+s+'-'+query_txt+'-'+sec_name+'\\\\'+s+'-'+query_txt+'-'+sec_name+'.xls'\n",
    "\n",
    "# 제품 이미지 저장용 폴더 생성\n",
    "img_dir = ff_dir+\"\\\\images\"\n",
    "os.makedirs(img_dir)\n",
    "os.chdir(img_dir)\n",
    "    \n",
    "s_time = time.time( )\n",
    "\n",
    "#Step 4. 웹사이트 접속 후 해당 메뉴로 이동합니다.\n",
    "chrome_path = \"c:/py_temp/chromedriver.exe\"\n",
    "driver = webdriver.Chrome()\n",
    "query_url='https://www.coupang.com/np/categories/194276'\n",
    "driver.get(query_url)\n",
    "time.sleep(2)\n",
    "\n",
    "# Access Denied 메시지가 나오면 아래코드로 쿠키를 삭제한다\n",
    "driver.delete_all_cookies()\n",
    "time.sleep(2)\n",
    "\n",
    "# # 분야별 더보기 버튼을 눌러 페이지를 엽니다\n",
    "# driver.find_element_by_xpath(\"\"\"//*[@id=\"header\"]/div\"\"\").click( )\n",
    "# time.sleep(2)\n",
    "# driver.find_element_by_xpath(\"\"\"//*[@id=\"gnbAnalytics\"]/ul[1]/li[4]/a\"\"\").click( )\n",
    "\n",
    "#Step 5. 내용을 수집합니다\n",
    "print(\"\\n\")\n",
    "print(\"===== 곧 수집된 결과를 출력합니다 ^^ ===== \")\n",
    "print(\"\\n\")\n",
    "\n",
    "ranking2=[]        #제품의 판매순위 저장\n",
    "title2=[]          #제품 정보 저장\n",
    "p_price2=[]        #현재 판매가 저장\n",
    "discount2 = []     #할인율 저장\n",
    "sat_count2=[]      #상품평 수 저장\n",
    "\n",
    "img_src2=[]   # 이미지 URL 저장변수\n",
    "file_no = 0   # 이미지 파일 저장할 때 번호\n",
    "count = 1     # 총 게시물 건수 카운트 변수\n",
    "\n",
    "def scroll_down(driver):\n",
    "    driver.execute_script(\"window.scrollTo(0,document.body.scrollHeight);\")\n",
    "    time.sleep(1)\n",
    "\n",
    "scroll_down(driver)   #현재화면의 가장 아래로 스크롤다운합니다\n",
    "\n",
    "for x in range(1,page_cnt + 1) :\n",
    "    html = driver.page_source\n",
    "    soup = BeautifulSoup(html, 'html.parser')\n",
    "\n",
    "    item_result = soup.find('ul','baby-product-list').find_all('li')\n",
    "\n",
    "    for li in item_result :\n",
    "        if cnt < count :\n",
    "            break\n",
    "\n",
    "        # 제품 이미지 다운로드 하기\n",
    "        import urllib.request\n",
    "        import urllib\n",
    "\n",
    "        try :\n",
    "            photo = li.find('dt','image').find('img')['src']\n",
    "        except AttributeError :\n",
    "            continue\n",
    "\n",
    "        file_no += 1\n",
    "        full_photo = 'https:' + photo\n",
    "        urllib.request.urlretrieve(full_photo,str(file_no)+'.jpg')\n",
    "        time.sleep(0.5)\n",
    "\n",
    "        #제품 내용 추출하기\n",
    "        f = open(ff_name, 'a',encoding='UTF-8')\n",
    "        f.write(\"-----------------------------------------------------\"+\"\\n\")\n",
    "        print(\"-\" *70)\n",
    "\n",
    "        ranking = count\n",
    "        print(\"1.판매순위:\",ranking)\n",
    "        f.write('1.판매순위:'+ str(ranking) + \"\\n\")\n",
    "\n",
    "        try :\n",
    "            t = li.find('div','name').get_text().replace(\"\\n\",\"\")\n",
    "        except :\n",
    "            title = '제품소개가 없습니다'\n",
    "            print(title.replace(\"\\n\",\"\"))\n",
    "            f.write('2.제품소개:'+ title + \"\\n\")\n",
    "        else :\n",
    "            title = t.replace(\"\\n\",\"\").strip()\n",
    "            print(\"2.제품소개:\", title.replace(\"\\n\",\"\").strip())                  \n",
    "            f.write('2.제품소개:'+ title + \"\\n\")\n",
    "\n",
    "        try :\n",
    "            p_price = li.find('strong','price-value').get_text().replace(\"\\n\",\"\")\n",
    "        except :\n",
    "            p_price = '0'\n",
    "            print(\"3.판매가격:\", p_price.replace(\"\\n\",\"\"))\n",
    "            f.write('3.판매가격:'+ p_price + \"\\n\")\n",
    "        else :\n",
    "            print(\"3.판매가격:\", p_price.replace(\"\\n\",\"\"))\n",
    "            f.write('3.판매가격:'+ p_price + \"\\n\")\n",
    "\n",
    "        try :\n",
    "            discount = li.find('span','discount-percentage').get_text().replace(\"\\n\",\"\")\n",
    "        except  :\n",
    "            discount = '0'\n",
    "            print(\"4:할인률:\", discount)\n",
    "            f.write('4.할인율:'+ discount + \"\\n\")\n",
    "        else :\n",
    "            print(\"4:할인률:\", discount)\n",
    "            f.write('4.할인율:'+ discount + \"\\n\")\n",
    "\n",
    "        try :\n",
    "            sat_count_1 = li.find('span','rating-total-count').get_text()\n",
    "            sat_count_2 = sat_count_1.replace(\"(\",\"\").replace(\")\",\"\")\n",
    "        except  :\n",
    "            sat_count_2='0'\n",
    "            print('5.상품평 수: ',sat_count_2)\n",
    "            f.write('5.상품평 수:'+ sat_count_2 + \"\\n\")\n",
    "        else :\n",
    "            print('5.상품평 수:',sat_count_2)\n",
    "            f.write('5.상품평 수:'+ sat_count_2 + \"\\n\")\n",
    "\n",
    "        print(\"-\" *70)\n",
    "\n",
    "        f.close( )             \n",
    "        time.sleep(0.5)\n",
    "\n",
    "        ranking2.append(ranking)\n",
    "        title2.append(title.replace(\"\\n\",\"\"))\n",
    "\n",
    "        p_price2.append(p_price.replace(\"\\n\",\"\"))\n",
    "        discount2.append(discount)\n",
    "\n",
    "        try :   \n",
    "            sat_count2.append(sat_count_2)\n",
    "        except IndexError :\n",
    "            sat_count2.append(0)\n",
    "\n",
    "        count += 1\n",
    "    x += 1       \n",
    "    try :\n",
    "        driver.find_element_by_link_text('%s' %x).click() # 다음 페이지번호 클릭\n",
    "    except :\n",
    "        break\n",
    "          \n",
    "#step 6. csv , xls 형태로 저장하기              \n",
    "co_best_seller = pd.DataFrame()\n",
    "co_best_seller['판매순위']=ranking2\n",
    "co_best_seller['제품소개']=pd.Series(title2)\n",
    "co_best_seller['제품판매가']=pd.Series(p_price2)\n",
    "co_best_seller['할인율']=pd.Series(discount2)\n",
    "co_best_seller['상품평수']=pd.Series(sat_count2)\n",
    "\n",
    "# csv 형태로 저장하기\n",
    "co_best_seller.to_csv(fc_name,encoding=\"utf-8-sig\",index=False)\n",
    "\n",
    "# 엑셀 형태로 저장하기\n",
    "co_best_seller.to_excel(fx_name ,index=False , engine='openpyxl')\n",
    "\n",
    "e_time = time.time( )\n",
    "t_time = e_time - s_time\n",
    "\n",
    "count -= 1\n",
    "print(\"\\n\")\n",
    "print(\"=\" *80)\n",
    "print(\"1.요청된 총 %s 건의 리뷰 중에서 실제 크롤링 된 리뷰수는 %s 건입니다\" %(cnt,count))\n",
    "print(\"2.총 소요시간은 %s 초 입니다 \" %round(t_time,1))\n",
    "print(\"3.파일 저장 완료: txt 파일명 : %s \" %ff_name)\n",
    "print(\"4.파일 저장 완료: csv 파일명 : %s \" %fc_name)\n",
    "print(\"5.파일 저장 완료: xls 파일명 : %s \" %fx_name)\n",
    "print(\"=\" *80)\n",
    "\n",
    "driver.close( )\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}