phantomjs安装使用

phantomjs安装

phantomjs 是一款基于webkit的无界面浏览器,提供多种js api;可以方便的进行扩展:

yum --skip-broken install fontconfig freetype libfreetype.so.6 libfontconfig.so.1
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.7-linux-x86_64.tar.bz2

tar jxvf phantomjs-1.9.7-linux-x86_64.tar.bz2
mv phantomjs-1.9.7-linux-x86_64 phantomjs
cd phantomjs

测试网页加载渲染速度:

./bin/phantomjs examples/loadspeed.js http://www.58game.com

抓取网页下载过程请求,类似于httpfox:

./bin/phantomjs examples/netsniff.js http://www.58game.com

网页截图:

var page = require('webpage').create();
page.open('http://www.58game.com', function() {
  page.render('example.png');
  phantom.exit();
});

保存为t.js,执行

先给phantomjs执行权限 chmod u+x phantomjs

./bin/phantomjs /root/t.js
时间: 2024-11-13 22:04:34

phantomjs安装使用的相关文章

[Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)

        最近在使用Python爬取网页内容时,总是遇到JS临时加载.动态获取网页信息的困难.例如爬取CSDN下载资源评论.搜狐图片中的"原图"等,此时尝试学习Phantomjs和CasperJS来解决这个问题.这第一篇文章当然就是安装过程及入门介绍. 一. 安装Phantomjs         下载地址:http://phantomjs.org/        官网介绍:          PhantomJS is a headless WebKit scriptable w

PhantomJS 无界面浏览器

From: http://cuiqingcai.com/2577.html From: http://www.cnblogs.com/front-Thinking/p/4321720.html PhantomJS官方地址:http://phantomjs.org/ PhantomJS官方API:http://phantomjs.org/api/ PhantomJS官方示例:http://phantomjs.org/examples/ PhantomJS GitHub:https://github

Python pyspider的安装与开发

PySpider 简介 PySpider是一个国人编写的强大的网络爬虫系统并带有强大的WebUI.采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器.任务监视器,项目管理器以及结果查看器. PySpider 来源于以前做的一个垂直搜索引擎使用的爬虫后端.我们需要从200个站点(由于站点失效,不是都同时啦,同时有100+在跑吧)采集数据,并要求在5分钟内将对方网站的更新更新到库中.所以,灵活的抓取控制是必须的. 同时,由于100个站点,每天都可能会有站点失效或

最受欢迎的5款Node.js端到端测试框架

笔者在本文中会结合自身实践和 GitHub 趋势对比最受欢迎的 Node.js E2E 测试解决方案,期望对大家的技术选型有帮助 测试,尤其是自动化测试在现代 WEB 工程中有着非常重要的角色,与交付过程集成良好的自动化测试流程可以在新版发布时帮你快速回归产品功能,也可以充当产品文档.测试因粒度不同又可以分为单元测试.接口测试.功能测试.在 WEB 领域,功能测试亦称为端到端测试(End to End Test,简称 E2E 测试),笔者在本文中会结合自身实践和 GitHub 趋势对比最受欢迎的

Yeoman学习与实践笔记

Yeoman是Google的团队和外部贡献者团队合作开发的,他的目标是通过Grunt(一个用于开发任务自动化的命令行工具)和Bower(一个HTML.CSS.Javascript和图片等前端资源的包管理器)的包装为开发者创建一个易用的工作流. Yeoman的目的不仅是要为新项目建立工作流,同时还是为了解决前端开发所面临的诸多严重问题,例如零散的依赖关系. Yeoman主要有三部分组成:yo(脚手架工具).grunt(构建工具).bower(包管理器).这三个工具是分别独立开发的,但是需要配合使用

[Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium

        最近准备深入学习Python相关的爬虫知识了,如果说在使用Python爬取相对正规的网页使用"urllib2 + BeautifulSoup + 正则表达式"就能搞定的话:那么动态生成的信息页面,如Ajax.JavaScript等就需要通过"Phantomjs + CasperJS + Selenium"来实现了.所以先从安装和功能介绍入门,后面在介绍一些Python相关的爬虫应用. 一. 介绍        PhantomJS        Pha

Windows中Phantomjs + Casperjs安装使用方法

安装 Phantomjs + Casperjs Casperjs是用JavaScript编写的导航测试脚本和开发工具,这篇文章主要讲解Casperjs在windows下的安装和使用,如果你刚刚听说Casperjs,请到 CasperJS 介绍 章节了解Casperjs的功能和作用,然后再回来这里学习CasperJS的安装. CasperJS的使用是基于PhantomJS的,所以在安装CasperJS之前要先安装PhantomJS,请到这里下载PhantomJS.在windows下安装请下载win

数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置

数据抓取是一门艺术,和其他软件不同,世界上不存在完美的.一致的.通用的抓取工具.为了不同的目的,需要定制不同的代码.不过,我们不必Start from Scratch,已经有许多的基本工具.基本方法和基础框架可供使用.不同的工具.不同的方法.不同的框架的特点也不同.了解这些工具.方法和框架是首要任务,接下来就需要明白它们的差异都在哪里.什么情境该用什么东东,最后才是析出规则.编写代码.运行程序来抓取数据.所以说,其实数据抓取的学习路线,不但很长而且很杂.     为了一个特定的目的,我需要爬取G

PhantomJS的使用

1. 简介 phantomjs 简单来说是一个基于 WebKit 的"无头浏览器"环境.对"无头",你可以理解成没有一个前端的 GUI 界面,所有的东西都在后台运行. phantomjs 在"无头"界的名声,是源于从 WebKit 里得到的对 DOM / JS 的完整支持. 一个纯后台的,完整功能的浏览器,这东西就有很多可以想像的空间了 -- 抓取,测试等. 2. 安装 http://phantomjs.org/download.html Win