如果搜索引擎不能有效的浏览到你的内容，那么即使你投入再多的的精力在网站上而无济于事。而避免此事发生的良方就是完整而有针对性的规划整个网站结构。
在网站构建之前，我们有必要清楚的了解搜索引擎运转的模式。它并不是我们想象的有专门的小组到各个网站搜集资料进行评比。而是依靠所谓的蜘蛛爬虫，一款自动的小机器人，在网站的连接和内容见漫游搜集资料，根据一定的算法规定生成目录排比，由此而凭秤而论。在此，暗箱操作我们姑且不讨论。
确保蜘蛛爬虫能够扫描到你网站所有的内容对于网站排名和SEO至关重要，太多的网站构建模式和结构布局混乱导致网站的大部分内容不能被蜘蛛爬虫扫描到，而无缘无故的丢失很多分数，不能转变成自身网站的真正价值。
以下我们列举了5个共同的问题和建议，期望你在网站构建中可以避免。
1.过多的内容显示在图片和脚本上
蜘蛛爬虫不是如我们一样可以眼观六路，耳听八方。他们就是一些虚拟的工具，只能简单的辩解以文本和脚本为基础的内容，而一些优秀图片、动画是无法被评估的。这也是一些网站网络提高VI设计而绞尽脑汁设计一大堆高质量的图片，到头来却无济于事，白忙活一场。
而最简单的解决方案就是转换内容形式为一种可识别的载体。同时借助一些搜索引擎模拟器观察爬虫到你网站时的反映，如果有过多的内容丢失，或一些信息被屏蔽，那传递的信息就是我们需要重新设置向导来引导。
2. 复杂导航 VS 简单导航
许多网站设计师一开始头痛的就是向导的设置太复杂，因为爬虫是在内容和连接间浏览的缘故。如果搜索引擎过于复杂，那爬虫就会经过层层的点击、连接筛选而到你所指向的内容。说句讽刺的话，或许你是在和爬虫的耐性打赌，在和用户较劲，很明白是鸡蛋碰石头的对抗，后果不言而喻。
最直接的解决方案就是设计一个简单的导航结构，确保用户在两只三步就可获得自己期望的。 可以在主导航条下面设置子挑选条件，或者是增加一些内部连接。
3. 不连贯的连接操作
在建立连接的同时，我们必须小心的思考如何命名他们，搜索引擎是不可能和我们一样有判断的标准，爬虫更多的是以URLs为评判标准，有时两段不同的连接代码却同时指向一片内容，这是爬虫可能开始迷糊了，虽然我们明白其中的逻辑。但考虑到寄人篱下的缘故，我们还必须让爬虫也明白。
为了避免指示信息的错误，我们必须有连贯的连接。如果你的网站有这样类似的疏忽，就使用301跳转重新定义新的内容，让爬虫明白你的连接代码。
4. 错误的重定向
当它涉及到301重定向，就是简单的在你网站间网页的转换。你是否需要重命名他们，或者将这个网站内容引导到一个新的地点保证你能准确的指向那个方向。如果导引错误将会减少你千辛万苦设计的导入链接的效果，还可能导致搜索引擎排名的降低。我们应该认真的思考这个问题，在此我也不再累赘。
5. 错误的站内地图
如果想提高站内结构的准入门槛，建立一个简单的站内地图无疑会事倍功半，这个功能会让爬虫更有倾向性的浏览你的网站网页，但是要确保指示准确。
如果你的网站运行在别人的平台上，就有必要下载一个插件自动的生成站内地图，如果不行，就建立一个HTML代码连接到其他的网页，提交并供搜索引擎考察。