我是在1997年的搜索引擎认识到，网站管理员正在努力排名以及在其搜索引擎，有些网站管理员，甚至操纵其排名在搜索结果中的填充物的网页过多或不相关的关键字。早期的搜索引擎，如Infoseek ，调整了它们的算法，努力防止网站管理员操纵排名。
由于产品具有较高的市场价值，有针对性的搜索结果中，有潜在的敌对关系，搜索引擎和seo的。 2005年，一个年度会议，气，对抗性的信息检索的网站， 的设立是为了讨论和尽量减少有害影响，积极的网络内容供应商。
搜索引擎优化公司，雇用过度进取的技术能得到他们的客户网站禁止从搜索结果中。 2005年，华尔街日报报道的一间公司，交通电力，据称用于高风险的技术和没有透露这些风险向它的客户。 Wired杂志报道说，同一家公司提起诉讼的Blogger亚伦华尔街徐写作有关禁令。 谷歌的马特卡茨后来证实，谷歌实际上已经禁止车辆电源和一些客户端。
有些搜索引擎也达到了行业的高级行政主任，并经常赞助商和嘉宾高级行政主任会议，聊天，和研讨会。事实上，随着付费收录，有的搜索引擎现在有既得利益的健康，优化社会。各大搜索引擎提供信息和指导方针，以帮助网站优化。 谷歌有一个Sitemaps计划[，以帮助网站管理员了解如果谷歌是没有任何问题索引自己的网站上还提供了数据，谷歌流量该网站。谷歌指引建议名单的做法谷歌提供了指导，以网站管理员。的Yahoo !网站浏览器提供了一种网站管理员提交网址，确定有多少网页在Yahoo !指数和查看联系信息。
使用索引
领先的搜索引擎，谷歌，雅虎和微软，使用的搜寻器找出网页搜索结果的算法。网页链接的其他搜索引擎索引的网页，无需提交，因为他们发现自动。有的搜索引擎，尤其是雅虎，运营付费服务，保证提交检索任一套费用或每次点击费用。 [这种程序通常保障纳入该数据库，但并不能保证具体的排名在搜索结果中。 ]雅虎的付费收录程序批评的广告客户和竞争对手。 两个主要的目录，雅虎目录和开放式目录管理系统都需要手动提交和人力编辑审查。 [谷歌提供谷歌网站管理员工具，其中一个XML格式的Sitemap饲料可以创建并提交自由，以确保所有的网页发现，特别是网页，而无法发现的自动以下链接。
搜索引擎抓取工具可能会看一些不同的因素时，抓取网站。并非每一个网页的索引的搜索引擎。距离的网页的根目录中的网站也可能是一个因素，无论是否得到网页抓取。
防止抓取
主要文章：漫游器排除标准
为了避免不良内容的搜索索引，网站管理员可以指示蜘蛛不抓取某些文件或目录的标准robots.txt文件中的网域的根目录。此外，一个网页可以明确地排除在搜索引擎的数据库，通过使用元标记特定机器人。当搜索引擎访问一个网站，在robots.txt位于根目录的文件是首次履带。 robots.txt文件，然后解析，并将指示机器人为哪些网页不被抓取。作为搜索引擎的抓取工具可能会缓存副本的文件，它会有时页面的抓取网站管理员不希望抓取工具。网页通常无法被抓取工具包括登录特定网页，如购物车和用户特定的内容，如搜索结果来自内部的搜索。 2007年3月，谷歌网站管理员发出警告，他们应该阻止编制内部搜索的结果，因为这些网页被视为垃圾邮件的搜索。
本文由www.0310job.com提稿。