首先通过下图看看通常网站的架构图：
典型的网站外链分布图
然后我们看看一个典型网站外链分布图：
爬虫抓取路径的优先级
下面要讲到一个被很多SEO们误解的重要概念。很久以前，搜索引擎的爬虫(机器人)大部分时间都会递归地抓取某个网站(通过你提交的网站首页网址，然后通过网页上发现的链接抓取这些链接所指向的网页，周而复始)。但现在不是那么回事了，就像下面的图一样，搜索引擎的爬虫抓取时会有多个进入点，并且每个进入点都同样重要，然后再从这些进入点向外扩散，进行抓取。
搜索引擎爬虫抓取路径的优先级示意图
5个提高网页被搜索引擎抓取、索引和排名的方法，最后，我们看看有什么方能提高网页被搜索引擎抓取、索引和排名的方法：
使网站结构扁平化
如果你的网站能够建立一个理想的、扁平的链接层次，那么可以实现通过3次点击就访问100万个页面页，和通过4次点击就访问100万页面的效果。
从“强力的”页面链接到需要链接的页面
应该知道有很多外链的“强力”页面(指排名高、外链多的页面，易IT注)的涟漪性效应，并且充分利用这种效应。把这种页面看作是目录(或分类)页面，并通过它们链接到网站的其他页面。
同样，你以后也可以将这种页面当作着陆页，帮助提高你想用户访问页面的流量。
减少“死胡同”和低价值页面
那些在链接图上边缘的页面价值很低。确认网站上没有那些让PageRank降低的页面。通常这样的页面是PDF、图片和其他文件。你可以用301重定向将这些文件重定向到包含(嵌入或包含下载链接)这些文件内容的页面，并且页面上有返回网站其他部分的链接。
创作值得链接的分类或导航页面
如果你能制作这样值得链接和引人注目的页面，它们会获得更高的PageRank和更优先的抓取率。同时这些PageRank和抓取优先级会通过页面上的链接传递到网站的其他页面(给搜索引擎一个网站上所有页面都很重要的信号)。