一般来说,搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候,由于种种原因,并不是所有网页都能被收录进搜索引擎数据库。比如说,你的网站是数据库动态生成的,URL中带有参数,一些网页离主页太远,你的网站PR值太低,新的网页可能过很长时间才有机会被抓取等等。
Google ">Sitemap就允许站长上传给Google一个网站地图,列出你所有需要被抓取的网页及重要性级别。据很多人证实,Google网站地图确实能提高被Google收录的网页数目,而且似乎Google每天都会抓取sitemap的内容。
所以如果你有新的网页,或你的网站内容更新比较快,Google网站地图是一个很好的通知Google的工具。不过我在这里想和大家分享几个Google Sitemap用于搜索引擎优化的心得。
第一,像前面说的,当然最重要的是,使你的网页被收录的越多越好。因为我的网站没有收录问题,所以我也没有提交网站地图。但据朋友说,这个功能确实很好用。如果你的网站有很多网页没有被收录的话,应该试一下。
第二,在Google网站地图管理界面中,你可以看到Google是否惩罚了你的网站。像在以前提到的,Google会通知一部分被惩罚的网站站长。我感觉这是一个最重要的必须要使用Google Sitemaps的原因。虽然这个功能最好永远用不上。
第三,Google网站地图管理界面Diagnostic(诊断)部分,你的网站在被抓取的时候,如果有什么问题都会被列出来。比如说URL错误,404错误,服务器宕机等等。在HTTP错误中,可以看到有哪些URL是有问题的,这样可以及时解决网站上的技术问题。
第四,Diagnostic部分也提供了一个robots.txt文件检测工具。很多时候我们不希望搜索引擎来抓取某些目录或某些文件,用robots.txt文件是一个标准方法。但如果这个文件写的有问题,可能会造成搜索引擎完全不能爬行你的网站。你可以用这个Google Sitemaps检测工具测试某一个目录或某一个文件是否被排除在搜索引擎之外。
第五,在Google网站地图Statistic(统计资料)部分,有很多非常有用的信息。
比如搜索统计(query stats)。Google会列出用户在找到你的网站时,使用的是什么关键词。在这个关键词下,你排名第几(top search queries)。在这个关键词下,你又得到了多少点击(top search query clicks)。虽然你可以从服务器日志文件中得到同样的资料,但Google在他的界面中,已经非常清楚的列出了这些信息,非常好用。
你可以从关键词统计信息中,清楚的看到你的目标关键词表现怎么样,你的标题标签写的怎么样。
第六,我觉得最重要的一个统计信息就是这一点,在网页分析统计(page analysis)栏目下,Google列出了Google所认为的你的网站与哪些关键词最有关(In your site’s content)。同时列出了在Google的数据库里面,你的反向链接都是使用哪些关键词做链接文字的(In external links to your site)。
左栏In your site’s content是在Google眼中,你的网站是谈论什么的,你的网站主题是什么。如果Google列出的这些关键词与你真正的网站主题有所偏离的话,很显然你需要修改你的网站内容,重写网站文字。
一般来说,你应该尽可能的使其他网站使用你最重要的关键词来链接向你。Google列出了你的链接当前效果怎么样,你也就知道了应该努力的方向。网页分析统计(page analysis)是我觉得Google网站地图最有用最有意义的。
做过网站和SEO的朋友都知道,一个网站在刚做好一两个月内搜索引擎的收录是非常慢的,原创很多经常更新的网站除外。在这段时间内对大多数站长来说都是一个比较痛苦的考验。