搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。
互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。
在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。
另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。
1、所有网页都被索引你的网页被搜索引擎索引的越多，网站被用户访问的机会就越多。多数搜索引擎“拒 绝”所递交URL的第二级或第三级以下层次网页的索引，如果你的网站有4-5级层次， spider就不带回网站的所有网页，解决的办法之一就是做一个“通道页”(hallway page)，“通道页”放置你网站的所有链接。
下面解释一下搜索引擎如何spider你的网站，假如你有一个网站—Chinese food，并向搜索引擎注册了网站的首页，首页即为树状结构的根部，如果首页包含两个链接， 分别指向sichuan-food.htm和guangdong-food.htm，则这两个网页就是第二级，在 sichuan-food.htm有链接指向chengdu-food.htm，则chengdu-food.htm为第三级，在 chengdu-food.htm有链接指向special-food.htm，则special-food.htm为第四级，如此类推。
第一级 index.htm
第二级 sichuan-food.htm和guangdong-food.htm
第三级 chengdu-food.htm
第四级 special-food.htm
多数搜索引擎“拒绝”索引第二级或第三级以下的层次，也就是说，第四级的所有网 页(对某些搜索引擎包括第三级的所有网页)，将不能被搜索引擎发现，除非你直接注 册这些网页，但不建议直接注册这些网页，因为这样将降低你的排名位置，并且容易 超过搜索引擎规定的每日注册限制。这就是为什么要专门制作一个“通道页”的原 因。