第一、检查和更新python环境
默认Macbook是带有python2.7版本的,所以我们认为不够新,可以到官方网站找到MAC系统的安装包,然后进行重新安装。
代码如下 | 复制代码 |
官方下载网站:https://www.python.org/download |
因为考虑到一些环境的兼容支持,所以我不打算升级到python3.4版本,还是用2.7版本。
第二、安装pip工具包
这个必须安装,是基于python的管理工具包。
代码如下 | 复制代码 |
wget https://bootstrap.pypa.io/get-pip.py |
用wget获取安装包,如果我们无法执行wget命令,则需要先查阅"Macbook系统环境安装wget的2个方法 - 传统包及Homebrew安装"把wget安装。
代码如下 | 复制代码 |
sudo python get-pip.py |
然后执行安装命令。
第三、修改pip工具包源
因为pip包需要用到一些源,我们需要将换成国内的源,这样安装的时候才快一些。
代码如下 | 复制代码 |
cd ~ |
用编辑器将pip.conf打开,然后丢上下面的脚本
代码如下 | 复制代码 |
[global] |
这里采用v2ex的地址。
第四、Pillow/PIL模块的安装
如果以后需要处理图片,还是也一起把Pillow/PIL模块安装。
代码如下 | 复制代码 |
sudo pip install -U Pillow |
第五、安装Scrapy爬虫框架
代码如下 | 复制代码 |
sudo pip install Scrapy |
爬虫框架安装直接输入就可以,记得要输入sudo,执行半天最后是一堆红色的错误提示脚本。
总结,到目前为止,我们就可以在Macbook中进行爬虫的演练,因为在本地演练方便,直接到VPS上操作文件效率不高,所以无论是MAC还是WINDOWS,都在本地安装和调试。