Skip to content

S-Dev-ENK/core_crawling

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

22 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Crawler

특정 url에 대해 지정한 depth까지의 Html & Js 파일 저장




목차

  1. 설치
  2. 사용법
  3. Error




설치

pip install selenium
pip install beautifulsoup4
pip install lxml




사용법

  • chromedriver_path = "chromedriver.exe 경로 입력"
  • craw_url = "대상 url 입력"
  • save_path = "Html, JS 파일 저장 경로"
  • select_depth = "depth 설정"
#Example
chromedriver_path = "C:\\...\\chromedriver.exe"
craw_url = "https://naver.com/"
save_path = "C:\\...\\Desktop\\"
select_depth = 2




Error

  • 존재하지 않거나 접근할 수 없는 주소의 경우 terminal에 출력




About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published