今天来做一个PHP电影小爬虫。
我们来利用simple_html_dom的采集数据实例,这是一个PHP的库,上手很容易。
simple_html_dom 可以很好的帮助我们利用php解析html文档。通过这个php封装类可以很方便的解析html文档,对其中的html元素进行操作 (PHP5+以上版本)
下载地址:https://github.com/samacs/simple_html_dom
下面我们以 http://www.paopaotv.com 上的列表页 http://paopaotv.com/tv-type-id-5-pg-1.html 字母模式展现的列表为例,抓取页面上的列表数据,以及内容里面信息
<?php include_once 'simple_html_dom.php'; //获取html数据转化为对象 $html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html'); //A-Z的字母列表每条数据是在id=letter-focus 的div内class= letter-focus-item的dl标签内,用find方法查找即为 $listData=$html->find("#letter-focus .letter-focus-item");//$listData为数组对象 foreach($listData as$key=>$eachRowData){ $filmName=$eachRowData->find("dd span",0)->plaintext;//获取影视名称 $filmUrl=$eachRowData->find("dd a",0)->href;//获取dd标签下影视对应的地址 //获取影视的详细信息 // 查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/webkf/PHP/ $filmInfo=file_get_html("http://paopaotv.com".$filmUrl); $filmDetail=$filmInfo->find(".info dl"); foreach($filmDetail as $film){ $info=$film->find("dd"); $row=null; foreach($info as $childInfo){ $row[]=$childInfo->plaintext; } $cate[$key][]=join(",",$row);//将影视的信息存放到数组中 } }
这样通过simple_html_dom,就可以将paopaotv.com影视列表中信息,以及影视的具体信息就抓取到了,之后你可以继续抓取影视详细页面上的视频地址信息,然后将该影视的所有信息都存放到数据库中。
下面是simple_html_dom常用的属性以及方法:
$html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html'); $e = $html->find("div", 0); //标签 $e->tag; //外文本 $e->outertext; //内文本 $e->innertext; //纯文本 $e->plaintext; //子元素 $e->children ( [int $index] ); //父元素 $e->parent (); //第一个子元素 $e->first_child (); //最后一个子元素 $e->last_child (); //后一个兄弟元素 $e->next_sibling (); //前一个兄弟元素 $e->prev_sibling (); //标签数组 $ret = $html->find('a'); //第一个a标签 $ret = $html->find('a', 0);
更多用法可以参考官方手册。
是不是很简单呢?有问题欢迎提出来交流
以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索文档
, html
, php
, 爬虫
, webmagic 爬虫
, 一个
, php爬虫代码
, php实现网络爬虫
, php爬虫
, Java豆瓣电影爬虫
, php反爬虫策略
, 小爬虫
, simple_html_dom
爬虫实例
swoole开发 php爬虫、php开发爬虫、php快速开发框架、php快速开发平台、php快速开发,以便于您获取更多的相关知识。