如何抓取京东商城的下拉框关键词？

问题描述

如图，打开抓包的链接：http://dd.search.jd.com/?ver=2&zip=1&key=固态硬盘&pvid=omsnrkbi.yqjcpn&t=1435756264785&callback=jQuery92378会自动跳转到：使用传统的HttpWebRequest抓取不到，使用浏览器的调试工具调试的时候，打开抓包到的链接会直接跳转到：http://www.360buy.com/error2.aspx求有经验的大神给个思路看看是怎么回事！谢谢了

解决方案

本帖最后由 hufanrong123 于 2015-07-01 21:14:31 编辑
解决方案二：
HttpWebRequestautoredirect设置为true另外用fiddler调试下，看看cookie有没有带上
解决方案三：
引用1楼caozhy的回复:

HttpWebRequestautoredirect设置为true另外用fiddler调试下，看看cookie有没有带上

我试试看吧
解决方案四：
你设定的编码错了，你设定的是gbk的吧？JD的接受数据要用utf-8
解决方案五：
还有，连接地址中的文字需要编码

时间： 2024-10-22 01:53:05

如何抓取京东商城的下拉框关键词？的相关文章

python抓取京东商城手机列表url实例代码_python

复制代码 代码如下: #-*- coding: UTF-8 -*-'''Created on 2013-12-5 @author: good-temper''' import urllib2import bs4import time def getPage(urlStr):    '''                获取页面内容    '''    content = urllib2.urlopen(urlStr).read()    return content def getNextPag

基于jquery的无限级联下拉框js插件_jquery

灵活性方面考虑了比较多的方面,提供了几个重要的配置方便在各类环境下使用,欢迎各位童鞋使用,源码完全开放.开发这个插件的缘于前段时间维护一个4级级联下拉框被里面200行代码及复杂的结构和bug所郁闷(之所以这么多代码是因为该级联下拉框有时只出现2个或3个),想到这类的需求其实经常都能遇到,jquery里没有这样比较好的插件,索性自己开发个.源代码并不复杂,稍微复杂的地方在第二个插件使用了缓存,造成理解起来十分困难,后面会做些解释. 插件一:适合在不与服务器进行AJAX交互情况使用,需预先将所有下拉

一款基于jquery联动下拉框效果

 代码如下 复制代码 /* * 级联下拉框Jqueyr插件,V1.2 * Copyright 2011, Leo.Liu * 本插件包括2个无刷新级联下拉框插件: * 插件一:cascadeDropDownData是在不与服务器进行AJAX交互情况使用,需预先将所有下拉框数据全部读出.demo: * 方法一:var dataItem = [['全部', '-1', '0'], ['a001', 'a001', '0'], ['a002', 'a002', '0'], ['a003', 'a003

实例解说：百度搜索下拉框与百度相关搜索原理

每天跟百度打交道的站长们与百度产品紧密接触,尤其在使用搜索功能搜索某个关键词时,都会看到其相关搜索关键词与下拉框搜索关键词.通过百度这一功能,我们在筛选关键词时可以看到拓展出一些热门的相关关键词.那么,怎么理解这两个搜索功能的属性,今天给大家解析一下百度相关搜索和下拉框搜索的原理,也可以从中了解到所谓的刷百度搜索下拉框是怎么一回事? 先在百度中直接搜索"game",这时候在地址栏可以看到http://www.baidu.com/s?wd=game&rsv_spt=1&i

php+phpquery简易爬虫抓取京东商品分类

这是一个简单的php加phpquery实现抓取京东商品分类页内容的简易爬虫.phpquery可以非常简单地帮助你抽取想要的html内容,phpquery和jquery非常类似,可以说是几乎一样:如果你有jquery的基础的话你可以迅速地上手. 1.下载phpquery并置于web根目录下的phpQuery文件夹 phpquery下载:https://code.google.com/p/phpquery/downloads/list phpquery教程可在这里查看:https://code.go

SelecT下拉框选中和取值的解决方法_jquery

 Select下拉框的问题,想在选择一个选项后,前台显示做出变动,并且知道选择的是第几个选项. 这个很好解决: 如下: <div class="page-header"> <div class="form-horizontal"> <div class="control-label col-lg-0"> </div> <div class="col-lg-2"> &l

asp.net-asp实现下拉框级联时出现第二个框一直不断积累的情况

问题描述 asp实现下拉框级联时出现第二个框一直不断积累的情况 比如,第一个下拉框选择华北,第二个下拉框出现:北大,北师大第一个框再选华中,第二个就会出现北大,北师大武大第一次的结果没有删除,要怎么实现?附上代码,各位高手帮我看一下吧,而且想实现第一个框为空的话,第二个框出来全部学校怎样实现? 在index.aspx中 选择地区: -请选择地区-/asp:ListItem/asp:DropDownList选择学校:-请选择学校-/asp:ListItem/asp:DropDownList在ind

javascript调用XML制作连动下拉框

传统的HTML页面中连动下拉框采用了两种方法:1)直接将下拉框中的内容hardcode于html的javascript中,调用javascript函数循环写入下拉框中.这种方法不适用于下拉框内容经常改变的情况.因为数据源和javascript程序写死在同一页面.   <html><head><title>List</title><meta http-equiv="Content-Type" content="text/ht

ajax完美解决 下拉框连动

ajax|解决|下拉 <select id="Agent" name="Agent"></select> 接下来当然是定义XmlHttpRequest对象.    var xmlhttp;function CreateXmlHttp()   {     //非IE浏览器创建XmlHttpRequest对象    if(window.XmlHttpRequest)    {     xmlhttp=new XmlHttpRequest();