5. 크롤링 데이터 다루기 > 5-1. Item 만들기

Item 만들기

Item은 spider가 추출한 데이터를 저장할 객체로, 프로젝트의 items.py에 정의합니다.

정의하는 방법은 다음과 같습니다.

# 예: 11번가 베스트 카테고리 상풍명을 저장할 클래스
# 클래스(=Item) 이름: Title(사용자 자유)

class Title(scrapy.Item):     # (1) Item 생성 + scrapy.Item 상속
    # define the fields for your item here like:
    # name = scrapy.Field()

    # 이번 주차에는 상품명만 수집할 예정이라 필드 1개만 생성   
      title = scrapy.Field()      # (2) 필드명 = scrapy.Field()

💡 필드(Field)

쉽게 말해 웹사이트의 데이터 중 / 내가 가져오고 싶은 특정 데이터를 / 저장할 객체를 만드는 것

(저장할 공간을 만든다고 생각하면 좋습니다.)

Item은 직접 만들어도 되지만 기존의 St11Item 클래스를 수정해도 무관합니다.

만약 여러 개의 사이트를 크롤링할 생각이라면 items.py에 사이트 개수만큼 Item을 만드는 것이 좋습니다.

15

마지막으로 업데이트 된 날짜:
2022년 9월 24일
4-3. Robots.txt(로봇 배제 표준)
5-2. Spider 수정하기