Macbook环境完整安装python编程环境及Scrapy爬虫框架

第一、检查和更新python环境

 

默认Macbook是带有python2.7版本的,所以我们认为不够新,可以到官方网站找到MAC系统的安装包,然后进行重新安装。

 

 代码如下 复制代码

官方下载网站:https://www.python.org/download

 

因为考虑到一些环境的兼容支持,所以我不打算升级到python3.4版本,还是用2.7版本。

 

第二、安装pip工具包

 

这个必须安装,是基于python的管理工具包。

 

 代码如下 复制代码

wget https://bootstrap.pypa.io/get-pip.py

 

用wget获取安装包,如果我们无法执行wget命令,则需要先查阅"Macbook系统环境安装wget的2个方法 - 传统包及Homebrew安装"把wget安装。

 

 代码如下 复制代码

sudo python get-pip.py

 

然后执行安装命令。

 

第三、修改pip工具包源

 

因为pip包需要用到一些源,我们需要将换成国内的源,这样安装的时候才快一些。

 

 代码如下 复制代码

cd ~
mkdir .pip
touch pip.conf

 

用编辑器将pip.conf打开,然后丢上下面的脚本

 

 代码如下 复制代码

[global]
index-url = http://pypi.v2ex.com/simple

 

这里采用v2ex的地址。

 

第四、Pillow/PIL模块的安装

 

如果以后需要处理图片,还是也一起把Pillow/PIL模块安装。

 

 代码如下 复制代码

sudo pip install -U Pillow

 

第五、安装Scrapy爬虫框架

 

 代码如下 复制代码

sudo pip install Scrapy

 

爬虫框架安装直接输入就可以,记得要输入sudo,执行半天最后是一堆红色的错误提示脚本。

 

总结,到目前为止,我们就可以在Macbook中进行爬虫的演练,因为在本地演练方便,直接到VPS上操作文件效率不高,所以无论是MAC还是WINDOWS,都在本地安装和调试。

时间: 2024-10-09 09:38:02

Macbook环境完整安装python编程环境及Scrapy爬虫框架的相关文章

【Python爬虫8】Scrapy 爬虫框架

安装Scrapy 新建项目 1定义模型 2创建爬虫 3优化设置 4测试爬虫 5使用shell命令提取数据 6提取数据保存到文件中 7中断和恢复爬虫 使用Portia编写可视化爬虫 1安装 2标注 3优化爬虫 4检查结果 使用Scrapely实现自动化提取 1.安装Scrapy 用pip命令安装Scrapy:pip install Scrapy wu_being@ubuntukylin64:~/GitHub/WebScrapingWithPython$ scrapy -h Scrapy 1.3.0

python 环境变量设置-python 的环境变量能用bat文件直接添加(永久添加)么?怎么写这个bat文件?

问题描述 python 的环境变量能用bat文件直接添加(永久添加)么?怎么写这个bat文件? win7在安装python的时候需要配置环境变量,我想用一个bat文件来在设置,但是写完运行后,进入cmd检测输入python,显示没有成功,进入电脑查看环境变量,查看后发现已经添加上,点击确定保存后,再运行cmd输入python,显示成功. 我想问一下,我怎么写这个bat文件可以运行后直接运行cmd输入python显示成功,而不需要进入电脑设置环境变量 解决方案 bat命令是可以用来配置环境变量,但

在Linux环境下安装JSP_JSP编程

apache 1.3.12 + tomcat 3.1.1 + JDK 1.2.2 + mod_jserv.so 1. 所需软件及下载 apache_1.3.12.tar.gz http://www.apache.org jakarta-tomcat-3.1.1.tar.gz http://jakarta.apache.org/builds/jakarta-tomcat/release/v3.1.1/bin/ jdk-1_2_2_007-linux-i386.tar.gz http://java.

《树莓派Python编程入门与实战》——第3章 搭建编程环境 3.1 探索Python

第3章 搭建编程环境 在本章中,你将学到如下内容. 为什么学习Python 怎样检查你的Python环境 Python交互式shell程序 使用Python开发环境 如何创建并执行一个Python脚本 在本章中,你将会探索Python编程环境,了解各种工具,它们可以帮助你学习Python编程.在本章结束时,你将熟悉Python交互式shell和Python开发环境,你将写出的你第一行Python代码. 3.1 探索Python 如果你对Python没有兴趣的话,你是不会来读这本书的!Python

《树莓派Python编程入门与实战(第2版)》——第3章 搭建编程环境 3.1 探索Python

第3章 搭建编程环境 本章主要内容包括: 为什么学习Python 怎样检查Python环境 Python交互式shell 使用Python开发环境 如何创建并运行一个Python脚本 在本章中,你将会探索Python编程环境,了解各种工具,它们可以帮助你学习Python编程.在本章结束时,你将熟悉Python交互式shell和Python开发环境,你将编写出自己的第一行Python代码. 3.1 探索Python 如果对Python没有兴趣的话,你是不会来读这本书的!Python是一门非常流行的

Ansible权威指南 》一1.8 Python多环境扩展管理

1.8 Python多环境扩展管理 众所周知,Python发展至今,版本众多,部分版本功能差异较大,在使用过程中经常遇到第三方库依赖的Python版本和系统Python版本不一致的情况.同时又因系统底层需调用当前版本Python,所以不能随意变更当前系统Python版本.如此情景下就会有Python多版本共存的情况.于是,Python多环境管理工具应运而生.这里为大家介绍两款工具,分别是Pyenv和Virtualenv.Pyenv和Virtualenv均为Python管理工具,不同的是,前者是对

《Ansible权威指南》一1.8 Python多环境扩展管理

1.8 Python多环境扩展管理 众所周知,Python发展至今,版本众多,部分版本功能差异较大,在使用过程中经常遇到第三方库依赖的Python版本和系统Python版本不一致的情况.同时又因系统底层需调用当前版本Python,所以不能随意变更当前系统Python版本.如此情景下就会有Python多版本共存的情况.于是,Python多环境管理工具应运而生.这里为大家介绍两款工具,分别是Pyenv和Virtualenv.Pyenv和Virtualenv均为Python管理工具,不同的是,前者是对

安装python爬虫scrapy踩过的那些坑和编程外的思考

这些天应朋友的要求抓取某个论坛帖子的信息,网上搜索了一下开源的爬虫资料,看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用.但是以前一直用的java和php,对python不熟悉,于是花一天时间粗略了解了一遍python的基础知识.然后就开干了,没想到的配置一个运行环境就花了我一天时间.下面记录下安装和配置scrapy踩过的那些坑吧. 运行环境:CentOS 6.0 虚拟机 开始上来先得安装python运行环境.然而我运行了一下python命令,发现已经自带了,窃(大)喜(坑).于是go

Ubuntu16.04安装后开发环境配置和常用软件安装

Ubuntu16.04安装后1.安装常用软件搜狗输入法+编辑器Atom+浏览器Chome+视频播放器vlc+图像编辑器GIMP Image Editor安装+视频录制软件RcordMyDesktop安装.2.开发环境配置.JDK环境配置+scala环境配置+nodejs环境配置+开发工具intellij IDEA安装+Python数据分析环境配置+Jupyter开发工具安装+Python多版同时支持. 1.Ubuntu16.04安装常用软件(搜狗输入法+编辑器Atom+浏览器Chome+视频播放