我们大家一定知道百度和谷歌有一个蜘蛛机器人,换句话说就是百度和谷歌的一套收录网站的程序或系统,我们都称它为蜘蛛机器人，他们是程序不是人，也不是神，所以它们总有自己的活动规律，下面就来谈谈。
一.网站收录初期
网站被百度收录初期的活动规律，首先进入你提交的网站首页或页面，然后从源文件中分析提取出你提交页面下的内链，然后逐一的提取你的网页。当然它不会一天两天的就给你把你加的内容，全部爬行完，它们会分不同的时间段进行爬，然后给你计算出蜘蛛在你网站的活动时间及时间的长短。如果百度蜘蛛机器人一旦发现你网站有死链或打不开的网页，会马上终止爬行。所以我们网站的初期，一定不要加外链或少加。网站没有建设好或内容不是很多的时候，一定不要放到网上去，网站放到网上去之前一定要检查一下是否有死链。我们一个网站放到网上去的时候，一定要是一个成形了的网站、有足够内容的网站。因为这样的网站你放上去的时候，然后在去向百度提交收录，他们第一次来，会给你网站留下一个好的印象。这样有一个好印象的话，他们会来第二次，第三次......。就向我们一个人遇见一个新朋友似的，第一印象好的话，以后办事方便些，一个道理。
当然，谷歌收录网站初期的活动规律，要比百度要强一些，谷歌的蜘蛛似乎要比百度的要勤。但还是和百度一样，一旦发现有死链，或打不开网页，就会马上终止。不过他们判断一个网页是否打不开的时间好像要比百度的要长。我原来用一个新网站做过测试，百度一旦打开的时间超过8秒左右，谷歌是十秒左右，就判断死链或无效网页。所以说我的在做网站的时候，源代码能少的一定要少，不要加一些无用的代码进去，因为那样它们打开的时间长了就会判断无效的。
二.网站收录稳定期
网站被百度收录稳定期后，蜘蛛机器人首先从首页进入，每天会有十分之一的爬行是从首页进入，如果与上次的首页同就马上停止。谷歌就不一样，还是和前面一个阶段一样，从首页进入然后进行大量的分析爬行。所以说我们在做网站的后期，也就是更新网站内容的时候，一定要分不同时间段更新，让你更新的内容都出现在首页，不要一下全部更新了，有一些页面出现在首页的机会就没有，那样的话，百度就会把你加的内容给遗忘的。在这个时间你就会发现他们蜘蛛机器人给你网站的一定时间规律，也就是你在什么时候加内容，他收录的时间与你加内容的时间最短。只要你长期的注意一下，你会发现他们来的规律的。当然说了这么多，你不是很细心的人，要发现这些规律是有一定难度的。给大家推荐一款源码露珠CMS,这个建站源码后台能比较清晰的记录各大搜索机器人的痕迹，有各个机器人来访的时间，来访的页面，对来访的详细数据作了分析，进行24小时时间段分析，对各个频道的分析，对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道，哪个版块都进行了分析，同时也给你提出了补救其它频道和版块的建议，哪个时间加内容收录最快等等。
百度在稳定期第一天收录的页面，经过分析后会在第二天的早上8:30左右的时候全部给你放出来。谷歌就不一样了，一般会在第二天的七点之前给你放出来的。
综上所述，我们的网站要想百度和谷歌大量的收录，我们只要用心去对待它们的蜘蛛机器人，我想总一天它们会喜欢你网站的。在此祝大家好运。以上就是我本人的一些看法,谈得比较肤浅,欢迎大家给我指正,与我交流