在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。
另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。
最近百度的竞价排名风波在网上和网下都引起不小的波动，无论百度是否为某些客户过滤负面新闻，抑或人为屏蔽某些不愿参加竞价排名的商家网站，这起风波无疑将成为中国搜索引擎行业发展的分水岭。至于有无这些行为以及是否违法，笔者不敢妄加评论。现仅从搜索引擎行业发展及市场竞争的角度探讨一下中国搜索引擎行业的未来。 最近百度的竞价排名风波在网上和网下都引起不小的波动，无论百度是否为某些客户过滤负面新闻，抑或人为屏蔽某些不愿参加竞价排名的商家网站，这起风波无疑将成为中国搜索引擎行业发展的分水岭。至于有无这些行为以及是否违法，笔者不敢妄加评论。现仅从搜索引擎行业发展及市场竞争的角度探讨一下中国搜索引擎行业的未来。
搜索引擎行业及竞价排名的发展简史
按点击付费和竞价排名的商业模式最早是由Overture服务公司(原GoTo.com)于1998年发明的。该商业模式基于这样一个假设作为其理论依据：付费排名能够比其它类型的服务提供更相关的搜索结果，付费多的网站要比付费少的好。当时互联网已超越学术研究的范围，很多互联网用户想通过搜索引擎来搜索想买的产品或服务。这种商业模式取得很大成功，雅虎和MSN等门户网站都采用Overture的搜索引擎服务。雅虎于2003年以16.3亿美元收购Overture公司，随后将这一服务更名为雅虎搜索营销。
很多搜索引擎都是将付费与自然搜索结果混合在一起的，其中包括百度，唯独Google例外。Google AdWords广告与其自然搜索结果是截然分开的，而且标注有“赞助商链接”字样，以提醒搜索者分清付费和非付费搜索结果。哪种方式更赚钱，结果不言自明。雅虎和MSN等搜索引擎逐渐放弃了付费和自然搜索混淆的做法，转而仿效Google，但已被远远撇在后面。雅虎于2007年推出类似于Google AdWords的巴拿马(Panama)计划，可惜为时已晚。雅虎落到今天这一地步与其搜索引擎策略的失误有很大干系。
