이번(2주차) 과제는 11번가 베스트 카테고리의 상품가격(판매가격)을 상품명과 함께 크롤링하는 것입니다.

상품명과 상품가격을 크롤링 한 후 csv 파일에 저장해보세요 😎

• 생각해야 될 것

  1. 상품가격(판매가격) 데이터가 담긴 css 선택자 경로는 무엇일까?

     scrapy shell로 css 선택자 경로 잘 가져왔는지 확인해보기!

  2. parse() 함수를 어떻게 수정해야 될까?

p.s. 크롤링 해보시면 아마 크롤링 된 상품 데이터가 40개뿐일 거예요. 이는 11번가 웹사이트에서 40개 이상의 상품을 보려면 사이트가 로딩이 되어야 하는데, Scrapy가 이를 인식하지 못하기 때문입니다. (동적 웹사이트 크롤링이 불가능) 이런 경우 selenium과 연동하여 사용하는 것이 일반적인데, 해당 설정은 다소 복잡하기 때문에 40개만 크롤링 하시면 됩니다.