大家都知道，网站的优化和网站的美化是不同的，虽然搜索引擎不提倡，但是实际情况是：优化是针对蜘蛛的，而美化是针对访客的。究其原因是因为FLASH、图片(锚文字除外)、视频等用户体验较高的格式并不能被蜘蛛所识别，造成站长只能通过其他途径来展示网站的内容给蜘蛛。
首先，每个网站都应该有机器人协议(robots.txt)，这个协议原本源自谷歌，如今被众多搜索引擎所采用。通过协议，使得蜘蛛被允许或者拒绝部分链接或者文件，使得网站的带宽被节约，如网站的admin文件夹往往就不需要被蜘蛛访问。机器人协议的另外一个作用在于防止权重输出和防止死链，在社会化和开放化互联网的今天，每个网站都会在首页展示一些社会化平台(如微博、网店、公共主页等)，采用蜘蛛拒绝协议能够防止网站权重流入不必要的地方。
网站所应该拥有的另一个文件就是网站地图(sitemap.xml)，对于经常更新的网站更是应该设置动态网站地图。百度蜘蛛对网站地图尤为喜爱，而设置一个动态的网站地图有助于提高网站的收录速度。一般小容量站点可以设置一小时更新，而大型网站则可以设置一周更新。
伪静态和链接缩减是网址优化的重点，搜索引擎喜爱.html、.htm、.shtml等静态网址，这导致动态网址的网站会通过伪静态的方式来优化网址。一个页面的网址是由网站域名和页面目录(或相对地址)组成的，网址缩减的重点就在于对页面相对地址的缩略。比如八度网络(www.ebadu.net)对自身ASP页面进行网址优化，设计成为shtml，有效的增加了搜索引擎对站点的友好度。有些站长认为网站的域名长短会对网址优化有影响，这是一个错误的看法，其实蜘蛛和我们一样，更加青睐好记的域名而不是刻意简短的域名。
说到代码减肥，这属于纯粹的程序领域，但是却对网站页面的优化影响甚远。换句话说，一个域名同样好记、同时注册的网站使用相同的标题和描述、进行相同的关键词优化操作，可能会出现排名相差甚远的情况，究其原因可能就在于网站页面的代码。一个精简的代码能够让搜索引擎很快的反馈有效信息，而一段臃肿的代码则往往会阻挡了有效信息的曝光频率，这对优化来说是不利的。
对于页面优化影响重大的另外一个因素是框架与排版。关键词优化需要目标关键词在网页(通常是指首页)中占据相当一定比例，并且最好在页面标题和描述中出现。一个多次出现的关键词会被搜索引擎认为是重点的词条而得到重视。合理的框架能够让蜘蛛顺利的辨别网站信息，并且能够将网站描述放置在整个页面的前面，让蜘蛛更好的解读。
在内部程序优化中，内链为皇的真理是不可动摇的。内链是唯一能够让蜘蛛在自己网站多次停留的方式，并且通过相关推荐，能够使得网址收录起到连带作用(一个链接被收录，该链接的内链受到积极连带影响)。所以，在设计页面文章是，设计好相关文章板块非常重要。
最后，404页面和301重定向也是必须了解的事项。对于一个建站时间很长的网站，会有许多死链(甚至是搜索引擎已经收录的链接)，通过设置404页面，不仅能告知蜘蛛这个网站的状态，也能使得用户在访问死页面之后能够很好的跳转到网站首页或者其他页面，增加停留时间，从而降低爆出率。另外，301也是常用的手段，一般站长会将@主机头永久重定向到WWW主机头上面去，另外网站更换域名时也常常采用这种手法。相比较301，302临时重定向对优化的负面影响就要大得多，和恶意群发一样、302也是曾经非常有效的黑帽SEO手段，但是随着各方搜索引擎严打恶意302，临时重定向已经变得极易受到处罚，所以建议大家使用永久重定向。