Scrapy는 대표적인 크롤링 프레임워크 중 하나입니다. 프레임워크란 함수와 코드를 미리 작성해놓음으로써, 특정 함수를 특정 위치에 어떻게 사용하고 작성해야 하는지를 정해놓은 프로그램입니다. 대표적으로는 Python, C, C++, JAVA가 이에 해당합니다.

💡 개념잡기: 프레임워크란 무엇일까?

위 영상을 시청하시면서 내용이 완전히 이해되지 않아도 흐름을 이해해보세요. 코사다마에서 배웠던 내용을 예시로 들어보면 다음과 같습니다.

• 라이브러리: Beautifulsoup, Selenium

• 프레임워크: Scrapy

(단, selenium의 경우 라이브러리인지, 프레임워크인지 의견이 갈린다고 합니다.)

📖 참고하기: Scrapy vs. Selenium vs. Beautifulsoup

Scrapy는 Selenium, BeautifulSoup에 비해 다양한 기능을 가지고 있고, 크롤링을 좀 더 안정적이고 빠르게 할 수 있다는 장점을 지니고 있습니다. 각각의 장단점이 궁금한 분들은 아래 글을 참고해보세요 😉

• Python 웹 크롤러 도구 비교 및 사용 후기(Scrapy vs selenium vs Requests, urllib)

Scrapy를 통한 크롤링은

1. 크롤링에 사용할 스파이더(Spider: Scrapy 기반 크롤링 프로그램) 생성
2. 크롤링할 사이트(시작점)와 크롤링할 아이템(Item)에 대한 경로 설정
3. 크롤링 실행 및 데이터 추출

의 방식으로 이루어지게 됩니다. 자세한 내용은 이후(2주차)에 다룰 예정입니다.