脚本-php的函数file_get_contents提取URL网页内容

问题描述

php的函数file_get_contents提取URL网页内容

用file_get_contents和file_get_contents两个函数想抓取电影天堂的资源内容,但是每次抓了几个网页就停止加载了,这是为什么?
<?php
$num=91906;
while($num<95605)
{
$url="http://www.dy2018.com/i/".$num.".html";
$html=file_get_contents($url);
file_put_contents('./movie/'.$num.'.html', $html);
$num++;
}

?>

解决方案

用fiddler调试看下,看看是不是你访问的间隔时间太短,被屏蔽了。或者地址不存在等。

解决方案二:

那是他们的网站都有这个的屏蔽的,可以休眠2秒在去抓.

时间: 2024-09-17 04:41:28

脚本-php的函数file_get_contents提取URL网页内容的相关文章

file_get_contents获取远程网页内容函数

无限file_get_contents获取远程网页内容函数  代码如下 复制代码 function vita_get_url_content($url) { if(function_exists('file_get_contents')) { $file_contents = file_get_contents($url); } else { $ch = curl_init(); $timeout = 5; curl_setopt ($ch, curlopt_url, $url); curl_s

javascript提取URL的搜索字符串中的参数(自定义函数实现)_javascript技巧

今天在犀牛书上发现了一个有用的函数 urlArgs(提取URL的搜索字符串中的参数).我们经常会看到有的页面链接地址后面会跟有参数,比如 http://www.xxx.com/?username=yyy&password=zzz 之类的,很多时候我们需要获得这些参数的值(yyy和zzz),那么就可以利用 urlArgs 函数,通过该函数的返回值(返回值是对象)的属性来获取. urlArgs 函数代码: 复制代码 代码如下: function urlArgs(){ var args = {}; v

第五篇 脚本变量、函数、过程和条件语句

在上一期中作者向诸位简要介绍了 ASP 脚本语言之一 VBScript 的一些基本常识,本期将继续给大家讲解 VBScript 的脚本编写方法,并通过展示 VBScript 在 ASP 程序编写过程中的一系列实例使大家对 VBScript 有更进一层的理解. 大家在学习了脚本语言 VBScript 的变量.常量和过程的基本概念后,本期将继续向各位介绍 VBScript 的函数和语法. 函数和过程一样都是命名了的代码块,但它们却有很大的区别,过程完成程序任务,函数则返回值.我们可以这样理解,过程象

第五课:ASP脚本变量、函数、过程和条件语句

 在上一期中作者向诸位简要介绍了 ASP 脚本语言之一 VBScript 的一些基本常识,本期将继续给大家讲解 VBScript 的脚本编写方法,并通过展示 VBScript 在ASP 程序编写过程中的一系列实例使大家对 VBScript 有更进一层的理解. 大家在学习了脚本语言 VBScript 的变量.常量和过程的基本概念后,本期将继续向各位介绍 VBScript 的函数和语法. 函数和过程一样都是命名了的代码块,但它们却有很大的区别,过程完成程序任务,函数则返回值.我们可以这样理解,过程象

ASP脚本变量、函数、过程和条件语句

变量|过程|函数|脚本|条件|语句 在上一期中作者向诸位简要介绍了 ASP 脚本语言之一 VBScript 的一些基本常识,本期将继续给大家讲解 VBScript 的脚本编写方法,并通过展示 VBScript 在ASP 程序编写过程中的一系列实例使大家对 VBScript 有更进一层的理解. 大家在学习了脚本语言 VBScript 的变量.常量和过程的基本概念后,本期将继续向各位介绍 VBScript 的函数和语法. 函数和过程一样都是命名了的代码块,但它们却有很大的区别,过程完成程序任务,函数

jquery-怎么访问javascript脚本$里的函数?

问题描述 怎么访问javascript脚本$里的函数? $ = window.$ || {}; $pt = window.$pt || {}; $.Encryption = $pt.Encryption = function() { function getEncryption() { ... } } (); 怎么调用函数getEncryption? 只有5个C币,不要嫌少啊 解决方案 你这样是访问不了的吧. $ = window.$ || {}; $pt = window.$pt || {};

ASP基础入门第四篇(脚本变量、函数、过程和条件语句)_应用技巧

       在上一篇小编向大家简要介绍了 ASP 脚本语言之一 VBScript 的一些基本常识,本期将继续给大家讲解 VBScript 的脚本编写方法,并通过展示 VBScript 在 ASP 程序编写过程中的一系列实例使大家对 VBScript 有更进一层的理解.   函数和过程一样都是命名了的代码块,但它们却有很大的区别,过程完成程序任务,函数则返回值.我们可以这样理解,过程象一个完整的句子,而函数则象一个单词.举个例子,当你想获取某个数的平方根,你只要将该数传给 VBScript 的

Powershell小技巧之查找脚本中的函数_PowerShell

要快速获取你PS脚本库中所有文件的函数名,你可以这样做: 复制代码 代码如下: filter Find-Function {    $path = $_.FullName    $lastwrite = $_.LastWriteTime    $text = Get-Content -Path $path        if ($text.Length -gt 0)    {              $token = $null       $errors = $null       $ast

Ajax:显示url网页内容的通用函数

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"><HTML><HEAD><TITLE>Ajax</TITLE><SCRIPT LANGUAGE="JavaScript"><!--/*** 显示url网页内容的通用函数* Program: 54powerman* EMail: 54powerman@163.com*