Scrapy 설치하기 | COSADAMA Curriculum

Scrapy는 비교적 크기가 크고 복잡하기 때문에 pip 명령어로 설치한 뒤 버전 충돌, 의존 문제 등 해결하기 어려운 문제에 빠지는 경우가 많습니다. (저희 수준에서는 별 문제가 없긴해요 🤣)

그래서 Scrapy 설치는 가상환경 사용이 추천됩니다. 본인 컴퓨터에 직접 설치해도 되지만! 우리는 아나콘다(anaconda)를 사용할거예요. 아직 설치하지 않으셨다면 다음 글을 참고해 주세요.

💡 개념잡기: 아나콘다(anaconda)란?

아나콘다(anaconda)란, 세계적으로 많이 쓰이는 데이터 사이언스 분야의 파이썬 / R / JAVA 등의 프로그래밍 언어 패키지 소프트웨어로, 프로그래밍 언어들의 의존성 및 버전 등의 문제 발생을 줄이도록 설계되어 있으며, 전용 가상환경을 제공합니다.

[파이썬 코딩 도장] 아나콘다 설치하기

기존에 따로 파이썬을 설치하신 적이 있다면, 해당 글의 '[그림 46-7] 아나콘다의 경로를 환경 변수의 PATH에 추가할지 설정하는 화면'을 주의깊게 읽어주세요. 환경 변수 설정을 잘못하면 jupyter notebook 사용에 문제가 생깁니다 😢

📖 참고하기: 가상환경이란?

가상환경이 무엇인지 궁금한 분들은 아래 글을 참고해보세요. '아, 이런거구나~' 정도의 느낌만 가져가시면 됩니다.

파이썬 코딩 도장

Scrapy는 터미널 환경에서 작업해야 합니다.

1 - Window 사용자

아나콘다 설치가 완료됐다면 Anaconda Powershell Prompt를 실행해주세요.

(추천하지 않음) jupyter notebook을 실행한 뒤, Terminal을 실행해도 됩니다.
2 - 1 - Mac 사용자 - conda base 가상환경 (by. 김윤진)

아나콘다 설치가 완료됐다면 터미널 프로그램을(Terminal, iTerm2 등) 실행해주세요.

conda activate base를 입력해 아나콘다 가상환경을 활성화합니다. (base)가 뜨면 성공이에요.

(아나콘다 가상환경을 비활성화하려면 conda deactivate base를 하면 됩니다.)

📖 참고하기: Mac 아나콘다 가상환경 생성/삭제/activate/deactivate
macOS 사용자분들은 아래 글의 3. 가상환경 활성화(activate) 부분을 참고해보세요 🤔
- 맥북 아나콘다 가상환경 생성/삭제/activate/deactivate
2 - 2 - Mac 사용자 - pipenv 가상환경 (conda base가 작동하지 않을 경우) (by. 박하람)
- 참고자료
- Homebrew 설치하기 [intel mac 사용자] ternimal 창을 열고 아래 복붙하여 homebrew 설치
```
$ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
```
  [m1 사용자] ternimal 창을 열고 아래 복붙하여 homebrew 설치
```
$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
```
  중간에 비밀번호를 입력하는 등의 과정이 있으니 참고할 것. 이후에는 cask 설치해주기
```
$ brew install cask
```
- 현재 상태 점검하기
  
  맥은 python2와 python3가 내장되어 있습니다. 본인의 맥에 존재하는지 검색해주세요.
```
$ python --version
Python 2.7.15

$ python3 --version  # 만약 설치하지 않으셨으면, 오류가 발생합니다. 특별한 이유가 아니라면 Python3 를 사용해 주세요
Python 3.7.1
```
  파이썬3이 설치되지 않았다면, python3를 설치해주세요.
```
$ brew install python3
```
- pipenv 설치하기
  
  아래 명령어 입력
```
$ brew install pipenv
```
- pipenv로 가상환경 준비하기
  
  가상환경을 열고 싶은 폴더에 들어가서 아래 명령 치기
```
$ cd [원하는 폴더]
$ pipenv --three #python3 설치
```
- 가상환경 시작하기
```
$ pipenv shell
```
  작업 시작 전에 항상 위의 명령어를 실행시켜주기. 위의 명령을 실행한 상태에서 아래 명령을 시작하기
```
$ pipenv install scrapy
```
  설치가 잘 됐다면 완성! 항상 pipenv shell 입력하고 실행해야 한다는 것 잊지말기.
- 가상환경에서 scrapy 잘 설치됐는지 확인하기
```
$ exit 
$ scrapy
```
  가상환경을 종료한 상태에서 scrapy에 대한 설치가 없다고 나오면 잘 설치된 것
```
$ pipenv shell
$ scrapy
```
  이렇게 다시 가상환경을 열었을 때 scrapy가 잘 작동하면 가상환경 잘 설치한 것!

위의 과정을 마친 후, 터미널에 pip install scrapy를 입력해 Scrapy를 설치합니다.

📖 참고하기: Window vs. Mac 명령어 차이

터미널에서 사용되는 명령어는 운영체제가 Window/Mac이냐에 따라 약간의 차이가 있습니다.

(명령어 차이는 Window의 명령 프롬프트(cmd)에만 해당되는 내용이며, Windows Powershell은 아래 명령어를 모두 사용할 수 있습니다.)

명령어 Window(cmd) Mac
경로 변경 cd(cd.. : 상위 폴더로 이동) cd(cd.. : 상위 폴더로 이동)
현재 내 경로 위치 찾기 cd pwd
현재 디렉토리 안에 있는 파일 확인 dir ls
터미널 화면 클리어 cls clear
Scrapy 도움말 scrapy / scrapy-h scrapy / scrapy-h

📖 참고의 참고하기: Mac/Window 터미널 명령어 모음

명령어에 대해 더 알고싶다면 아래 글을 참고해보세요 😎

cmd 명령어 모음

명령어	Window(cmd)	Mac
경로 변경	cd(cd.. : 상위 폴더로 이동)	cd(cd.. : 상위 폴더로 이동)
현재 내 경로 위치 찾기	cd	pwd
현재 디렉토리 안에 있는 파일 확인	dir	ls
터미널 화면 클리어	cls	clear
Scrapy 도움말	scrapy / scrapy-h	scrapy / scrapy-h