c++-Linux C++ Curl 获取html文件不完整

问题描述

Linux C++ Curl 获取html文件不完整
FILE *m_HtmlBuff = fopen(_file_loc, "w+");
if (m_HtmlBuff == NULL) {
    printf("%s  fopen error: errno=%dn", _file_loc, errno);
    return -1;
}
curl_easy_setopt(m_pCurl, CURLOPT_URL, pURL);
curl_easy_setopt(m_pCurl,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows; U; Windows NT 5.1; rv:1.7.3) Gecko/20041001 Firefox/0.10.1");
curl_easy_setopt(m_pCurl, CURLOPT_WRITEDATA, m_HtmlBuff);
curl_easy_setopt(m_pCurl, CURLOPT_TIMEOUT, 10);
curl_easy_setopt(m_pCurl, CURLOPT_AUTOREFERER, 1);
curl_easy_setopt(m_pCurl, CURLOPT_FOLLOWLOCATION, 1);
curl_easy_setopt(m_pCurl, CURLOPT_MAXREDIRS, 500);
curl_easy_setopt(m_pCurl, CURLOPT_NOSIGNAL, 1);
curl_easy_setopt(m_pCurl, CURLOPT_UNRESTRICTED_AUTH, 1);

CUrlRes = curl_easy_perform(m_pCurl);
fclose(m_HtmlBuff);

下载的html文件经常出现末尾少了一部分的情况。
比如文件结尾本来是这样:
</script>
</body>
</html>
下载的文件末尾却只有这样:
</script>
</body>
<
求大神帮忙解决。

解决方案

html页面是否有异步加载

时间: 2025-01-16 15:39:42

c++-Linux C++ Curl 获取html文件不完整的相关文章

php的curl获取有301/302跳转文件出错问题解决

在使用php的curl获取远程文件,代码如下: <? $ghurl = isset($_GET["id"]) ? $_GET["id"]:"http://www.baidu.com/"; // php 获取 function getContents($url){ $header = array("Referer: http://www.baidu.com/"); $ch = curl_init(); curl_setop

关于php curl获取301或302转向的网址问题的解决方法

在使用php的curl获取远程文件,代码如下: 复制代码 代码如下: <? $ghurl = isset($_GET["id"]) ? $_GET["id"]:"http://www.baidu.com/"; // php 获取 function getContents($url){ $header = array("Referer: http://www.baidu.com/"); $ch = curl_init();

关于php curl获取301或302转向的网址问题的解决方法_php技巧

在使用php的curl获取远程文件,代码如下: 复制代码 代码如下: <? $ghurl = isset($_GET['id']) ? $_GET['id']:'http://www.baidu.com/'; // php 获取 function getContents($url){ $header = array("Referer: http://www.baidu.com/"); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,

一个获取远端文件的函数(Linux和Windows均适用)

window|函数 为了获取远端文件,编写了下面的一个小函数,基本各方面都考虑了,大家看看吧:function getpic($url,$dir,$name){    //获取url文件,然后存放到dir目录中,以name为文件名.    //如果缺省文件名,则保留原文件名.    $tmp=split("/",$url);    $fname=$tmp[count($tmp)-1];//获取文件名    if(empty($name)) {        $name=$fname;/

lrzsz-求解在win中使用secureCRT登录linux在rz上传文件时获取文件名

问题描述 求解在win中使用secureCRT登录linux在rz上传文件时获取文件名 简单来说我就是想实现,我使用rz上传脚本完成后对这个脚本文件进行处理,比如把里面的"test"改成"true" 解决方案 http://tieba.baidu.com/p/4338828408

Linux中scp命令获取远程文件的方法_linux shell

一.scp是什么? scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的,可能会稍微影响一下速度. 二.scp有什么用? 1.我们需要获得远程服务器上的某个文件,远程服务器既没有配置ftp服务器,没有开启web服务器,也没有做共享,无法通过常规途径获得文件时,只需要通过scp命令便可轻松的达到目的: 2.我们需要将本机上的文件上传到远程服务器上,远程服务器没有开启ftp服务器或共享,无

Linux系统中获取路径的文件名的方法

  这篇文章主要介绍了Linux系统中获取路径的文件名的方法,文中总结出了两条,需要的朋友可以参考下 代码如下: [root@dabu.info ]#basename /root/aaa/bbb/dabu.txt 显示: 代码如下: dabu.txt #获取路径的文件名 shell脚本中如何获得脚本文件所在路径? 方法一: 代码如下: [root@dabu.info ]#DIR=$(cd "$(dirname "$0")"; pwd) [root@dabu.info

curl 获取 https 请求方法

今日在做一个项目,需要curl获取第三方的API,对方的API是https方式的. 之前使用curl能获取http请求,但今天获取https请求时,出现了以下的错误提示:证书验证失败. SSL certificate problem, verify that the CA cert is OK. Details: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed 解决方法,在curl

PHP获取音频文件的相关信息

  这篇文章主要介绍了PHP获取音频文件的相关信息的相关资料,非常的实用,有需要的小伙伴可以参考下. 项目需求:现在有一个音频文件上传的功能,在上传后PHP需要获取这个音频文件的相关信息,例如:时长等,由于这个文件是放在买的空间上的,没有像ffmpeg这样的扩展来处理,那么PHP能不能获取到这些信息? 下面是之前在项目中用到的一个用PHP进行音频文件头部信息的读取与写入操作的实现,主要针对 WMA 和 MP3 两种格式,供参考. ? 1 2 3 4 5 6 7 8 9 10 11 12 13 1