php 模仿蜘蛛抓取内容并分析

header("Content-Type:text/html;charset=gbk");
$message=$_POST['message'];
$contents = @file_get_contents("$message");
if($contents=="Forbidden"){
 $ch = curl_init();
 $timeout = 5;
 curl_setopt ($ch, CURLOPT_URL, "$message");
 curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)");
 curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
 $contents = curl_exec($ch);
 curl_close($ch);
}
preg_match_all("/<title(.*?)</title>/is",$contents,$title);
preg_match_all("/<meta(.*?)>/is",$contents,$meta);
preg_match_all("/<body(.*?)body>/is",$contents,$body);
echo 'title:'.strip_tags($title[0][0]).'<br><br>';
for($i=0;$i<count($meta[0]);$i++){
 if(preg_match("/keywords/i",$meta[0][$i])){
  preg_match_all("/content="(.*?)"/is",$meta[0][$i],$keywords);

 }
 if(preg_match("/description/i",$meta[0][$i])){
  preg_match_all("/content="(.*?)"/is",$meta[0][$i],$description);

 }
}
echo 'keywords:'.strip_tags($keywords[1][0]).'<br><br>';
echo 'description:'.strip_tags($description[1][0]).'<br><br>';
echo 'body:'.strip_tags($body[0][0]);
?>

时间: 2024-10-26 01:33:09

php 模仿蜘蛛抓取内容并分析的相关文章

影响蜘蛛抓取内容的四个因素

  网站收录良好与否跟蜘蛛爬行频繁次数.抓取页面有关是众所周知的,但是对于蜘蛛抓取了哪些页面我们不知道,那么我们只能依靠蜘蛛爬行过的访问日志进行分析了.从日志中我们可以分析出很多的数据,那么今天笔者主要给大家讲解一下影响蜘蛛抓取的因素和爬行时间,不要小看这个日志,它可以帮助你知道网站对于蜘蛛来说,是不是意味着友好的状态,蜘蛛喜不喜欢自己的站,如果爬行量大的话,那么就可以简单的得出网站很合蜘蛛的胃口,如果蜘蛛几天都不来的话,那么就要检查一下,是不是网站没有蜘蛛喜欢的"食物"了,下面就说说

总结几点现在百度更新蜘蛛抓取的几点规律

摘要: 今天起床后我打开网站发现了一个现象,那就是百度蜘蛛在一个晚上来了几次,我的网站的更新频率是白天一篇文章,晚上11点到12点更新3篇文章,经过对网站的检查与分析,然后我与 今天起床后我打开网站发现了一个现象,那就是百度蜘蛛在一个晚上来了几次,我的网站的更新频率是白天一篇文章,晚上11点到12点更新3篇文章,经过对网站的检查与分析,然后我与朋友在QQ中聊了一下他手中的几个网站,我总结出了几点现在百度更新蜘蛛抓取的几点规律. 1.百度蜘蛛在7月13日的大更新之后越来越注重原创内容,前两次的大更

蜘蛛抓取的行为

摘要: 通过对网站日志的分析,我们可以很好的判断我们的网站的健康程度,并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录,这样数据对于我们来讲无疑是 提升网站的一个关键,可 通过对网站日志的分析,我们可以很好的判断我们的网站的健康程度,并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录,这样数据对于我们来讲无疑是 提升网站的一个关键,可以时刻的让我们看到网站的不足之处,从而进行改正.然而今天小编与大家分享的主要是蜘蛛抓取的行为,希望对各位站长有所帮助. (一)蜘蛛访问的次数.停留时间以及抓取的数

蜘蛛抓取网页过程的四步曲

随着搜索引擎的不断发展与升级,搜索引擎所派出的蜘蛛也变得越来越智能了,所以为了要弄清楚蜘蛛的工作原理,为了更好的优化自己的网站我们就必须不断的去研究蜘蛛.下面,我就和大家简单的聊聊蜘蛛的基本工作原理吧: 蜘蛛工作的第一步:爬行你网站的网页,寻找合适的资源. 蜘蛛它有一个特性,那就是他的运动轨迹通常都是围绕着蜘蛛丝而走的,而我们之所以将搜索引擎的机器人命名为蜘蛛其实就是因为这个特性.当蜘蛛来到你的网站之后,它就会顺着你网站中的链接(蜘蛛丝)不断的进行爬行,因此如何让蜘蛛能够更好的在你的网站中进行爬

分享如何通过robot灵活控制蜘蛛抓取

做SEO没有人不知道蜘蛛吧,robot.txt文件就是和蜘蛛交流的文件,很多人都会说介绍要怎么让蜘蛛来爬行,却很少人知道用robot.txt去操控蜘蛛,robot.txt用得好的话蜘蛛可以为你所用.下面我来介绍一下如何操控蜘蛛. 一. 屏蔽相同页面 搜索引擎是个喜新厌旧的东西,不会去收录重复的也或者已有的页面,即使收录了后期也会被删掉,所以一开始我们可以打开robots文件,写入禁止蜘蛛来读取这个页面的代码,给蜘蛛来下个好印象,反之印象分会大大减分,影响将来蜘蛛来爬行网站. 二.维护网站安全 利

centos-nutch自定义要抓取内容

问题描述 nutch自定义要抓取内容 刚接触nutch,环境是VirtualBox虚拟机安装centos6.5 64位 ,在CentOS下使用svn从官网检出nutch 2.3 .初步的需求就是,根据我自定义的url,通过输入某些关键词(或html标签.或者正则表达式),来把匹配的网页内容抓取下来.后续再进行分析(后话) 我还在学习中,发现nutch2.3版本中,已经用bin/crawl命令取代了老版本的 bin/nutch crawl ,参数列表几乎完全都变了. 我尝试了如下操作: 这是2.3

php基于curl实现随机ip地址抓取内容的方法_php技巧

本文实例讲述了php基于curl实现随机ip地址抓取内容的方法.分享给大家供大家参考,具体如下: 使用php curl 我们可以模仿用户行为,既可以设置我们访问的ip及浏览器信息还可以设置post方式. curl是一个特别牛逼的东西!~ 居然还可以生成随机的ip来访问,甚至可以让服务器分辨不出真实ip.这个很牛!有人说这个是不算bug的bug.不过有这个功能也给我们带来了很大的方便. php基于curl实现随机ip访问: <?php function curl($url,$ifpost = 0,

Python打印scrapy蜘蛛抓取树结构的方法_python

本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法.分享给大家供大家参考.具体如下: 通过下面这段代码可以一目了然的知道scrapy的抓取页面结构,调用也非常简单 #!/usr/bin/env python import fileinput, re from collections import defaultdict def print_urls(allurls, referer, indent=0): urls = allurls[referer] for url in urls

页面被蜘蛛抓取后将被如何建立索引?

搜索引擎的数据库,是一个庞大复杂的索引数据库.你想知道你的网站页面被蜘蛛抓取后,会被怎样索引,搜索引擎为你的这个页面建立什么样的页面文件吗? 请你细细阅读: 1首先,你的页面是"新"的,也就是原创与伪原创. 2搜索引擎蜘蛛抓取了您的网站后,读取页面编码,作者,创建时间等属性信息. 3抓取网站内容信息,及我们常用的搜索引擎抓取模拟工具得出来的文字内容. 不知道这里能不能贴那么多抓取信息,这里就不给出来,大家可以到http://tool.chinaz.com/Tools/Robot.asp