웹 크롤링 심화
0. 추천 학습 가이드
3. Scrapy 프로젝트 생성
6. [프로젝트] 11번가 사이트 카테고리별 베스트 상품 크롤링
커리 개발: 김민석 신윤진 송혜민
2. Scrapy shell > 2-1. Scrapy shell이란?
Scrapy shell이란?
Scrapy shell은 Scrapy를 위한 인터렉티브 셸입니다. 터미널에 scrapy shell "크롤링할 주소" 를 입력하면 해당 웹사이트의 데이터를 가져오고, 주피터 노트북과 유사한 인터페이스를 제공해줍니다.
# 예
scrapy shell "https://news.v.daum.net/v/20210729154411508"
Scrapy shell 사용 시 유용한 명령어를 몇 가지 소개하겠습니다. 한 번씩 실행해보시길 바랍니다.
| 명령어 | 설명 |
|---|---|
| shelp() | Scrapy shell 도움말 |
| view(response) | 웹브라우저에 html 파일을 연다(open). |
| response.url | html 주소 출력 |
| response.text | html 소스 출력 |
| exit | Scrapy shell 종료 |
마지막으로 업데이트 된 날짜:
2022년 9월 24일
2022년 9월 24일