问题描述

使用Python抓取下一页网页数据

怎么抓取一个无论怎么跳转其url都不变的网页？通过Requests和BeautifulSoup能实现吗？

http://www.szairport.com/frontapp/HbxxServlet?iscookie=C

另外其下一页的跳转指令是js写的，我该怎么通过这条指令跳转下一页，命令如下：

 [<a href="javascript:void(0);" onclick="page.moveNext()">下一页</a>]

另附上我修改的代码;

import requests
import re
import BeautifulSoup
import json
a={"start":150,"limit":20}
r=requests.post("http://www.szairport.com/frontapp/HbxxServlet",data=json.dumps(a))
soup=BeautifulSoup.BeautifulSoup(r.text)
print soup

解决方案

可以不用获取js的，通过form data,也可以获取指定页的数据

解决方案二：

贴上我尝试的代码，新手见谅

 import requests
import re
import BeautifulSoup
a={"Start":"150"}
r=requests.post("http://www.szairport.com/frontapp/HbxxServlet",data=a)
soup=BeautifulSoup.BeautifulSoup(r.text)
print soup

解决方案三：

你可以先分析它跳转到下一页的URL格式，比如通过参数等，然后自己来构造对应的参数。发送请求