频繁获取网站页面内容后被禁止了,是哪里设置的问题?

问题描述

通过远程获取网页内容来生成静态页,但是每获取100页内容后就获取不到,全部页面都返回一段跳转代码<metahttp-equiv="refresh"content="0;URL=/?tads=514203695">请问是被获取站点的IIS设置的问题,还是服务器哪里设置禁止机制了?

解决方案

解决方案二:
很可能只是一段简单的代码,判断同一个IP地址短时间内请求的次数达到100次就禁止继续访问了
解决方案三:
引用1楼Z65443344的回复:

很可能只是一段简单的代码,判断同一个IP地址短时间内请求的次数达到100次就禁止继续访问了

没有,被获取的网站也是我的,程序方面没有做任何限制。是不是authentication设置为"Forms"的原因?
解决方案四:
一般的空间有可以设置,防止别人工具用的
解决方案五:
引用3楼QQ234788028的回复:

一般的空间有可以设置,防止别人工具用的

不是空间,两台服务器都是我的
解决方案六:
你的服务器是不是托管在机房的?有可能被机房的防火墙K掉了
解决方案七:
你把访问100次的时间间隔调大些再看看,如果都是你的服务器估计是服务器操作系统内部的安全机制。我以前专门采集的,碰到过各种屏蔽,但没碰到过这种。不过返回的这句话的意思到是刷新本页面。

时间: 2024-10-29 13:11:50

频繁获取网站页面内容后被禁止了,是哪里设置的问题?的相关文章

羽毛:分享八大网站页面内容建设的细节

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 内容为王,外链为皇.这话已经被说滥了,都说内容为王,那么如何造就这个王呢?特别是一些朋友刚开始做站,程序美工不懂,seo也不会,那初级能做的是只有内容.而就这看似很普通的内容建设却困扰着大大小小站长,网站运营者. 一般,我们在做页面内容建设可以注意以下八大方面: 一.做内容必须统筹,有规划的来做.不能今天突然想到啥就添加啥,一方面这样迟早有一

如何做好B2B行业网站页面内容设计留住用户

对于B2B行业网站的页面设计,大家可能更多考虑页面用色.导航条.按钮.标题栏的设计,内容设计可能常常被大家忽略.但是如果内容设计的不好,可能会让你的所有设计被毁于一旦.比如如何让内容有主次之分.层次感,使内容看起来不会太乱.太多,使用户不愿意继续阅读下去,很快离开网站,不能留住用户继续访问. 在本研究报告前面章节我讲过,永远要记得用户在没有明确的阅读内容前是扫描而不是阅读,在导航页面,用户很乐于扫视一句一句的内容,对于大面积没有重点的内容,没有耐心,我们必须在网页上提供既简短又有一定视觉焦点的内

用.net实现远程获取其他网站页面内容

页面 远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"一般来说.做内容采集分为如下几个大致的步骤: 1.远程获取页面的全部Html源文本. 2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据) 3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库. ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码! 首先我们来写一个获取远程Html源的方法. publi

造成网站页面内容相似度高的原因及解决办法

通常来说,在网站的建设过程中,重复内容的产生很难避免,但是重复内容在很大程度上会影响网站在搜索引擎中的表现.今天和大家探讨的内容就是重复内容产生的原因以及解决方法. 产生重复内容的主要原因 1,网址规范化问题. 网址规范化问题包括主域名的规范化和页面URL地址规范化两个方面,主域名的规范化需要规范化.另外是内页URL的规范化,通常为了让搜索引擎能够更好的抓取网站内容,我们会将URL进行伪静态处理,而一般的网站伪静态之后,原始的动态URL依然存在并能够访问,这样就造成了多个URL访问相同网址. 2

两个JSP页面父页面获取子页面内容的两种方法

 需求说明:两个JSP页面,父页面需要子页面的内容,但子页面是隐藏的,具体来说,子页面是一系列的模板,父页面要通过id来获取这些模板,不愿意通过<include>方式导入,因为如果模板过多,就导致整个父页面太大,加载缓慢,以下两个方案,不知有没有解决这个问题. 1.通过ajax方式 实现过程:通过ajax请求到子页面中,子页面获取参数id使用java和js变量的交互后,返回需要的模板信息 缺点:把js变量转换成java变量比较麻烦,需要使用form表单来提交,而且jsp中的java脚本是在服务

两个JSP页面父页面获取子页面内容的两种方法_JSP编程

需求说明:两个JSP页面,父页面需要子页面的内容,但子页面是隐藏的,具体来说,子页面是一系列的模板,父页面要通过id来获取这些模板,不愿意通过<include>方式导入,因为如果模板过多,就导致整个父页面太大,加载缓慢,以下两个方案,不知有没有解决这个问题. 1.通过ajax方式 实现过程:通过ajax请求到子页面中,子页面获取参数id使用java和js变量的交互后,返回需要的模板信息 缺点:把js变量转换成java变量比较麻烦,需要使用form表单来提交,而且jsp中的java脚本是在服务器

求助:使用ajax方式获取新页面内容替换当前整个页面,并执行新页面脚本

问题描述 在当前页面内,使用ajax方式获取一个新网页的内容,替代当前网页,包括:显示新网页所有内容,执行新网页该执行的脚本.用jQuery可以实现,代码如下:$(function(){$.ajax({url:"show.htm",//目标页面dataType:"html",type:"GET",cache:false,success:function(html){$("html").html(html);}});});但是自

C# 实现抓取网站页面内容的实例方法_实用技巧

抓取新浪网的新闻栏目,如图所示: 使用 谷歌浏览器的查看源代码: 通过分析得知,我们所要找的内容在以下两个标签之间: 复制代码 代码如下: <!-- publish_helper name='要闻-新闻' p_id='1' t_id='850' d_id='1' --> 内容.... <!-- publish_helper name='要闻-财经' p_id='30' t_id='98' d_id='1' --> 如图所示: 内容.... 使用VS建立一个如图所示的网站: 我们下载

java web-如何将一个网站的内容嵌入另一个网站的页面中

问题描述 如何将一个网站的内容嵌入另一个网站的页面中 cms建的网站A,Javaweb动态网站B 需求:在B的页面上显示A的模板页面.除了iframe外,还有什么方法能解决呢? 解决方案 在访问ASP网站页面时调用另一个网站页面内容 解决方案二: ajax跨站,查一下jsonp相关内容 解决方案三: 楼上回答正解. 还有个方法: 用webservice接口的方式,比如你开放一个Web Api接口,对方网站服务器端请求接口,你返回相应的数据内容即可. 这样有3种方法可以实现了: 1.提供URL,