页面被蜘蛛抓取后将被如何建立索引?

搜索引擎的数据库,是一个庞大复杂的索引数据库。你想知道你的网站页面被蜘蛛抓取后,会被怎样索引,搜索引擎为你的这个页面建立什么样的页面文件吗?

  请你细细阅读:

  1首先,你的页面是”新”的,也就是原创与伪原创。

  2搜索引擎蜘蛛抓取了您的网站后,读取页面编码,作者,创建时间等属性信息。

  3抓取网站内容信息,及我们常用的搜索引擎抓取模拟工具得出来的文字内容。

  不知道这里能不能贴那么多抓取信息,这里就不给出来,大家可以到http://tool.chinaz.com/Tools/Robot.aspx?txtSiteUrl=www.ggspkf.com查看。

  4将内容按切词技术,包括正反向切词,正向切词,反向切词,关键字最少话切词,反馈切词技术等,得到一系列目标关键字(专业名词:术语)。例如:百度输入:GG视频客服系统 注意出现标红的文字,很简单的我们可以得到如下目标关键字:

  GG视频客服系统

  GG

  视频客服系统

  客服系统

  客服

  系统

  GG视频

  视频

  将以上7个目标关键字左右匹配,得出其他相关关键字,这里不一一列出。

  5抓取关键字出现的位置,在第3段模拟抓取中,我们可以看到title keywords与description,及页面内容。这可以很明显得看出关键字出现的位置。

  6将第4段得到的目标关键字与第5段得到的位置信息形成一个数组文档,如(GG视频客服系统:10:1,2,4,5,6,9,11,23,55,65)(举例,真实情况需要查看网站实际内容)

  上面的意思是:GG视频客服系统 这个关键字,在该页面出现10次,位置分别处于1,2,4,5,6,9,11,23,55,65。再将这个数组及其他此时生成的文件存入到数据库中。

  7当有人搜索GG视频客服系统的时候,搜索引擎将读取所有关于GG视频客服系统 的数组,根据一系列复杂的算法,得到这些页面的排名顺序,展现给访客。

  上面提到的只是大概的过程,具体的索引生成当中,考虑的因素是巨大而繁琐的,之后慢慢陈述。

时间: 2024-08-01 16:51:43

页面被蜘蛛抓取后将被如何建立索引?的相关文章

php记录搜索引擎蜘蛛抓取页面代码

php教程记录搜索引擎教程蜘蛛抓取页面代码 error_reporting(E_ALL & ~E_NOTICE); $tlc_thispage = addslashes($_SERVER['HTTP_REFERER'].$_SERVER['PHP_SELF']);/*($_SERVER ['HTTP_HOST'].$_SERVER['PHP_SELF']);($_SERVER['HTTP_USER_AGENT']);*/ //添加蜘蛛的抓取记录 $searchbot = get_naps教程_b

如何避免网站page的页面被重复抓取

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 观察分析网站的日志,发现网站page的页面被蜘蛛重复抓取很多,这样子对网站的优化并不是很好.那么我们要如何避免网站页面被蜘蛛重复的抓取呢? 一.通过robots文件来把这个页面来屏蔽掉,具体做法语法格式: Disallow: /page/ #限制抓取Wordpress分页如查你的网站有需要也可以把下面的语句一并写上,避免出现过多的重复页面.

Python打印scrapy蜘蛛抓取树结构的方法_python

本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法.分享给大家供大家参考.具体如下: 通过下面这段代码可以一目了然的知道scrapy的抓取页面结构,调用也非常简单 #!/usr/bin/env python import fileinput, re from collections import defaultdict def print_urls(allurls, referer, indent=0): urls = allurls[referer] for url in urls

蜘蛛抓取网页过程的四步曲

随着搜索引擎的不断发展与升级,搜索引擎所派出的蜘蛛也变得越来越智能了,所以为了要弄清楚蜘蛛的工作原理,为了更好的优化自己的网站我们就必须不断的去研究蜘蛛.下面,我就和大家简单的聊聊蜘蛛的基本工作原理吧: 蜘蛛工作的第一步:爬行你网站的网页,寻找合适的资源. 蜘蛛它有一个特性,那就是他的运动轨迹通常都是围绕着蜘蛛丝而走的,而我们之所以将搜索引擎的机器人命名为蜘蛛其实就是因为这个特性.当蜘蛛来到你的网站之后,它就会顺着你网站中的链接(蜘蛛丝)不断的进行爬行,因此如何让蜘蛛能够更好的在你的网站中进行爬

分享如何通过robot灵活控制蜘蛛抓取

做SEO没有人不知道蜘蛛吧,robot.txt文件就是和蜘蛛交流的文件,很多人都会说介绍要怎么让蜘蛛来爬行,却很少人知道用robot.txt去操控蜘蛛,robot.txt用得好的话蜘蛛可以为你所用.下面我来介绍一下如何操控蜘蛛. 一. 屏蔽相同页面 搜索引擎是个喜新厌旧的东西,不会去收录重复的也或者已有的页面,即使收录了后期也会被删掉,所以一开始我们可以打开robots文件,写入禁止蜘蛛来读取这个页面的代码,给蜘蛛来下个好印象,反之印象分会大大减分,影响将来蜘蛛来爬行网站. 二.维护网站安全 利

影响蜘蛛抓取内容的四个因素

  网站收录良好与否跟蜘蛛爬行频繁次数.抓取页面有关是众所周知的,但是对于蜘蛛抓取了哪些页面我们不知道,那么我们只能依靠蜘蛛爬行过的访问日志进行分析了.从日志中我们可以分析出很多的数据,那么今天笔者主要给大家讲解一下影响蜘蛛抓取的因素和爬行时间,不要小看这个日志,它可以帮助你知道网站对于蜘蛛来说,是不是意味着友好的状态,蜘蛛喜不喜欢自己的站,如果爬行量大的话,那么就可以简单的得出网站很合蜘蛛的胃口,如果蜘蛛几天都不来的话,那么就要检查一下,是不是网站没有蜘蛛喜欢的"食物"了,下面就说说

总结几点现在百度更新蜘蛛抓取的几点规律

摘要: 今天起床后我打开网站发现了一个现象,那就是百度蜘蛛在一个晚上来了几次,我的网站的更新频率是白天一篇文章,晚上11点到12点更新3篇文章,经过对网站的检查与分析,然后我与 今天起床后我打开网站发现了一个现象,那就是百度蜘蛛在一个晚上来了几次,我的网站的更新频率是白天一篇文章,晚上11点到12点更新3篇文章,经过对网站的检查与分析,然后我与朋友在QQ中聊了一下他手中的几个网站,我总结出了几点现在百度更新蜘蛛抓取的几点规律. 1.百度蜘蛛在7月13日的大更新之后越来越注重原创内容,前两次的大更

蜘蛛抓取的行为

摘要: 通过对网站日志的分析,我们可以很好的判断我们的网站的健康程度,并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录,这样数据对于我们来讲无疑是 提升网站的一个关键,可 通过对网站日志的分析,我们可以很好的判断我们的网站的健康程度,并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录,这样数据对于我们来讲无疑是 提升网站的一个关键,可以时刻的让我们看到网站的不足之处,从而进行改正.然而今天小编与大家分享的主要是蜘蛛抓取的行为,希望对各位站长有所帮助. (一)蜘蛛访问的次数.停留时间以及抓取的数

http访问-人为编码实现网页页面内容的抓取与浏览器访问页面的区分点有哪些?

问题描述 人为编码实现网页页面内容的抓取与浏览器访问页面的区分点有哪些? 请问大神们用浏览器访问页面与编码实现请求访问来获取内容有什么区分点吗?都是HTTP协议的情况下,希望大家能给分享下经验,谢谢! 解决方案 是说爬虫吗?开发爬虫可以去神箭手云爬虫看看.很不错的爬虫云开发平台