웹 크롤링 심화
0. 추천 학습 가이드
0-1. 추천 학습 가이드
1. Scrapy 소개 및 설치
1-1. Scrapy란?
1-2. Scrapy는 객체 지향 프로그래밍이다!
1-3. Scrapy 설치하기
2. Scrapy shell
2-1. Scrapy shell이란?
2-2. Scrapy shell에서 CSS Selector와 XPath로 데이터 가져오기
3. Scrapy 프로젝트 생성
3-1. Scrapy 프로젝트 생성
4. Spider(크롤러) 만들기
4-1. Spider(크롤러) 만들기
4-2. Spider 클래스
4-3. Robots.txt(로봇 배제 표준)
5. 크롤링 데이터 다루기
5-1. Item 만들기
5-2. Spider 수정하기
5-3. 데이터 저장하기
5-4. 데이터 후처리하기
6. [프로젝트] 11번가 사이트 카테고리별 베스트 상품 크롤링
6-1. 프로젝트, Spider(크롤러) 만들기
6-2. Item 만들기
6-3. Request 메서드, callback과 meta 파라미터
6-4. 메인 카테고리의 베스트 상품 크롤링
6-5. 메인 카테고리, 서브 카테고리의 베스트 상품 크롤링
6-6. 데이터 후처리 및 저장
7. 텍스트 에디터 - VS Code
7-1. VS Code 설치하기
7-2. VS Code 사용 팁⭐
7-3. VS Code에서 작업하기
8. Scrapy Logging
8-1. Scrapy Log_LEVEL을 통한 오류 찾기
8-2. Log를 파일로 저장하기
9. 학습 과제
9-1. 11번가 CSS Selector 경로 추출
9-2. 11번가 베스트 카테고리의 상품가격&상품명 크롤링
9-3. 11번가 메인 카테고리&서브 카테고리 베스트 상품 1~5위 크롤링&저장
9-4. G마켓 메인 카테고리&서브 카테고리 베스트 상품 1~5위 크롤링
커리 개발: 김민석 신윤진 송혜민
7. 텍스트 에디터 - VS Code > 7-2. VS Code 사용 팁⭐
VS Code 사용 팁⭐
아래 영상을 시청해주세요.
마지막으로 업데이트 된 날짜:
2022년 9월 24일
7-1. VS Code 설치하기
7-3. VS Code에서 작업하기