我曾经特意观察过一些国外的大网站，针对海量页面的收录确实是用了不少的技巧。我个人的建议，首先你要在首页增加一些特别设定的地图索引页。例如A B C D E F等以字母开头的页面。每个索引页面的提供下一级的全部索引。从A-Z按字母索引，其实在国外网站 并非是针对SEO所做的，当然，这个对收录的确很有帮助。
这种按字母索引的方式，其实是信息架构学中比较基本的内容，在国内其实还没有信息架构设计方面的普及。但是在国外 ，比较普及。其实 mike moran 在《网站流量大提速》这本书中说过：
好的站点设计，能最大程度加强你网页的要素，要和信息架构设计师一起工作，用谨慎考虑过的链接结构来使得站点更容易浏览。信息架构(information architecture)，简称 IA，未来的信息架构设计师一定精通SEO，而未来的SEOer 也一定精通信息架构。因为信息架构体系的几个组成部分：组织系统，标签系统，导航系统，搜索系统，元数据、叙词表和不定词表。每个组成与SEO都息息相关。
SEO和信息架构的搭配实在是完美极了，非常有可能彼此加强，而达到战略制胜的目的!
从A-Z的索引方式，属于信息架构中的“精确性组织体系”;而信息架构中的“精确性组织体系”不光包括，按字母索引，还包括按照日期(年月日周)，发布人，甚至地理位置，等等一切可以确定下来的组织方式。各位莫看手机的按键非常简单，但是为什么大多数手机的按键布局几乎是一样的，并非因为约定俗成，同样是严格遵从信息架构设计的理论。而汉语网站，大家最喜欢的莫过于是按照主题进行分类，这在信息架构设计理论中属于“模糊性组织体系”。
我个人简单理解信息架构：网站由网页构成，以每个网页为节点，一个网站，就是一张网。 而信息架构对于SEO作用，是增加这张网的密度，而觅到更多的目标!(就跟打鱼撒网一样，网越稀松，从网孔中流失掉的鱼虾就越多，而网越密，则把大鱼到虾米，全部一网打尽。)
信息架构对于SEO来说解决的问题：是在自然的范围内，合理的增加网站中每个网页的平均内链个数。在与竞争对手角力的时候，只要你的网页平均内链数量比对方多1，对方就望尘莫及。所以信息架构设计多么重要，你懂的。
当内容海量的时候，内部组织方式比任何SEO策略都要有意义。比如说100万级的关键词营销，根本没有足够的时间来解决每个页面的外链问题，你唯一可以掌握的，只有网站的内部链接。掌握信息架构设计的SEOer，在思考任何一个页面的链接组成的时候，一定会考虑到怎样合理利用好搜索引擎中的hub因素，也会考虑到topic因素的相关性处理!每个页面的链出的同网站的页面 也总是相对在分类中权重更高。
百度知道的强大，恰恰是合理的信息架构设计，完美的融合了SEO的因素。才造成那么强大的表现，而非很多人眼里的人工提权。
ps，如果一个中国最大的搜索引擎还需要通过人工提权这种行为来获得利益，那就相当可笑了。文章来源：光年论坛http://www.gnbase.com/thread-1463-1.html