问题描述

如何爬取 某些网页，返回一些奇怪的东西？

连接都是我使用fidder 抓包手机App得到的，可是我明明看到的是 刷新出的是页面，可是连接 却返回这么个东西，没有jison什么的

这是个什么玩意，怎么搞？

1.

http://data.howbuy.com/hws/news/listbytype.protobuf?newestVer=0&pageCount=25&currentPage=1&basicType=&newsType=129013&channelId=102401532&token=7504457408dabb842645746b07a906a8&coopId=A20131205&actionId=HD0001&parPhoneModel=android&subPhoneModel=MI+3&iVer=4.2.2&deviceId=7FED7E7CDEB099D78294E284A0225245&corpId=000004&productId=28294488&version=4.2.2

可以 看到连接的路径 说的都是 新闻的列表 ，可是 返回个 文件。。。

2.

http://quotes.66zhang.com:8888/query?q=inst&s=sha-600313&t=all&f=pb&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

这个好歹有数值，虽然不知道乱码 是怎么回事？

3.
http://apiv2.66zhang.com/content/hold?stock=sha-600313&offset=0&view_cnt=20&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

刷新页面 看到的是 用户操作列表，可以实际 返回确实 一串 什么码，这个怎么抓？

解决方案

第1个 是个app，叫掌上基金

第2.3个是个app，叫 股票雷达

解决方案二：
看下是不是第一次返回了301/302跳转，那么你需要带上cookie带上referer，继续访问跳转后的网页。

解决方案三：
有些乱码等是可能数据编码了，或加密了。
有些数据是自定义数据，app自己知道怎么解析处理。

解决方案四：
乱码是编码问题，你应该先确定采用的什么编码，gbk还是utf8，或者utf16等等
app可能加密数据再发送，因此你抓到的是密文，这种情况下应逆向app

解决方案五：
数据是加密了的，没有解密的方法你无法知道其含义。
或者可以用常用的解密的方法试试看