크롤링 세션 for 루비까이기

크롤링이란?

Web scraping is a computer software technique of extracting information from websites.

크롤링 추가 Tip

1. xPath finder 선호 링크
2. 크롤링은 외부 변수 많으니 예외 처리 필수
3. 블로그나, 카페처럼 디자인 템플릿이 존재하면 모바일 버전 확인
4. 몇몇 어려운 페이지는 개발자도구로 분석해서 api 탈취 시도해도 됨
5. robots.txt 확인 하기
6. 주기적 크롤링은 스케줄러 사용해서 구현하면 됨

크롤링할 사이트

1. 인스타그램 기본(실레니움)
2. 멋사 사이트 (실레니움 로그인)
3. disco.re (api로 탈취)