HttpRequest 抓某宝搜索页面数据 出现验证码

问题描述

求大神解救,已经2个多月了,程序通过抓某宝搜索页面数据,通过winform程序,HttpRequest方式抓,时不时会返回验证码,但是ie浏览器打开又没有弹,程序返回里又有,请问我是哪里做错了!或则说如何能避免验证码请大神解救!以下是我的HttpRequest请求数据的代码HttpWebRequestrequest=(HttpWebRequest)WebRequest.Create(url);//声明一个HttpWebRequest请求request.Timeout=30000;request.Accept="*/*";request.UserAgent=Tools.UserAgent;if(string.IsNullOrEmpty(Tools.UserAgent))request.UserAgent="Mozilla/5.0";request.KeepAlive=true;if(!string.IsNullOrEmpty(cookie)){request.Headers[HttpRequestHeader.Cookie]=cookie;}//设置连接超时时间//request.Headers.Set("Pragma","no-cache");HttpWebResponseresponse=(HttpWebResponse)request.GetResponse();StreamstreamReceive=response.GetResponseStream();StreamReaderstreamReader=newStreamReader(streamReceive,encode);strResult=streamReader.ReadToEnd();streamReader.Dispose();streamReceive.Dispose();response.Close();

解决方案

解决方案二:
只要在网页中能正常运行用winfrom那不是很简单?winform嵌入网页登陆后获得cookie用登陆cookie去请求登陆后需要抓取的请求就能得到想要的数据
解决方案三:
可能IE设置了弹出窗口拦截
解决方案四:
频繁访问是会出验证的。

时间: 2024-11-01 16:59:01

HttpRequest 抓某宝搜索页面数据 出现验证码的相关文章

淘宝网低调内测独立搜索页面布局搜索市场

10月10日上午消息,据消息人士透露,淘宝网正低调测试独立搜索页面search.taobao.com,目前该页面仅在部分地区可以访问.这是淘宝网屏蔽百度搜索后的重要举措之一,业内人士认为淘宝网将通过此举提升收入.抢占用户市场. 据内部人士透露,淘宝网独立搜索引擎项目早在一年前就开始研发,并且招募大量人才.目前该独立搜索页面仅在杭州等部分地区可以访问,淘宝网内部人士称该页面依然处于内测阶段,有望在今年底正式推出. 此次淘宝网独立搜索页面采用类似谷歌百度的简洁风格,根据淘宝网用户测试结果,目前该搜索

如何抓取天猫和淘宝的运营数据?

对通用网站的数据抓取,比如:谷歌和百度,都有自己的爬虫,当然,爬虫也都是有程序写出来的.根据百度百科的定义:网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫.不过,淘宝为了屏蔽网络爬虫对自身数据(例如商品价格.月销量.收藏量.评价.月成交记录等等)的抓取,往往是采取一种名叫Ajax的技术,在网页加载完成后,再次加载这些数据,所以通用的网络爬虫抓取技术对抓取淘宝的这些数据是无效的.针对淘宝

淘宝低调推出了内侧搜索页面

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 淘宝搜索内测页面 据消息人士透露,淘宝网正低调测试独立搜索页面search.taobao.com,目前该页面仅在部分地区可以访问.这是淘宝网屏蔽百度搜索后的重要举措之一,业内人士认为淘宝网将通过此举提升收入.抢占用户市场. 据内部人士透露,淘宝网独立搜索引擎项目早在一年前就开始研发,并且招募大量人才.目前该独立搜索页面仅在杭州等部分地区可以访

java web-淘宝搜索功能,用户在输入框输入关键字后,系统自动根据关键字进入搜索页面后会再次生成筛选条件

问题描述 淘宝搜索功能,用户在输入框输入关键字后,系统自动根据关键字进入搜索页面后会再次生成筛选条件 页面如何根据搜索条件 再次显示相关物品的筛选条件 供用户进行选择 是如何实现的 求原理 最近自己在做一个网上商城项目 需要效果和淘宝,京东等差不多. 解决方案 在不同的类别中搜索,那这些类别中的筛选条件汇总 解决方案二: 页面如何根据搜索条件 再次显示相关物品的筛选条件 供用户进行选择 是如何实现的 求原理 最近自己在做一个网上商城项目 需要效果和淘宝,京东等差不多. 说白了,就是组合条件查询,

网页-好奇,淘宝登陆页面读取了通过usb连接电脑的手机的应用数据

问题描述 好奇,淘宝登陆页面读取了通过usb连接电脑的手机的应用数据 是什么原理 解决方案 这不是检测USB连接的,而是你的手机登录了淘宝,你在PC机上登录时,提示你手机安全确认. 这是淘宝的一种安全管理机制.一旦你使用了,手机登录淘宝后,就激发使用这个机制. 1.手机卡的唯一的,SIM卡(Subscriber Identity Module 客户识别模块),通过SIM卡可以确定唯一性. 2.淘宝支持任何PC机登录,这样造成黑客的盗号,或非法登录情况出现. 3.只要客户从任何一台PC机登录时,淘

关于淘宝商品页面买家昵称抓取的思路

问题描述 现在做一个项目,是抓淘宝卖家商品页面中所有买家的昵称,但是昵称都加了**号,能有什么好的方法能解析出来完整的昵称吗,各位大神给我点思路吧, 解决方案 解决方案二:目测不行.解决方案三:引用楼主u011673523的回复: 现在做一个项目,是抓淘宝卖家商品页面中所有买家的昵称,但是昵称都加了**号,能有什么好的方法能解析出来完整的昵称吗,各位大神给我点思路吧, 本来淘宝就是防止你盗取客户名称你就非要去解析出来这不是吃饱没事干吗,淘宝不会笨到先输出了客户帐号再用js批量加星星吧解决方案四:

《淘宝店铺 大数据营销+SEO+爆款打造 一册通》一一1.5 店铺页面装修分析

1.5 店铺页面装修分析 一个装修好的店铺才能提高品牌溢价,才能提升客户的黏性.装修店铺并不是弄的五颜六色.炫丽就是好的,只有通过数据分析来证明如此装修是否有效果才是正确的,因为通过数据我们才可以发现更多问题,比如哪些模块用户比较感兴趣,哪种颜色更适合店铺装修等这些.所以需要通过生意参谋多关注.多分析自己的店铺装修情况,这样才能掌握淘宝店铺的装修技巧. 1.5.1 店铺首页装修分析打开生意参谋中"经营分析"下的"装修分析"页面,如图1-15所示.这里有一个店铺的&q

百度SEOer初接触淘宝搜索的心得体会

中介交易 SEO诊断 淘宝客 云主机 技术大厅 新公司让我了解一下淘宝,上次接触淘宝应该是在上大学的时候.最早接触B2C也是在上大学,那个时候易趣还很火,我在上面卖了不少鞋子,都是地摊上淘的,16元进价,我卖32元,卖了三十来双,后来那个地摊没有同款的鞋子了,易趣的店铺就关掉了.有卖就有买,我在易趣上面买了数码相机,迷你的那种,花了两百多,后来拿回来谷歌了下一下,百度不到所以谷歌,才知道这个是外国人用的高级摄像头,也就十来美元,用了十几次,就不好用了,内存垮掉了,存不进照片,我又去谷歌,才知道这

淘宝SEO:影响淘宝搜索排名因素大盘点

中介交易 SEO诊断 淘宝客 云主机 技术大厅 这个是我一年前做的一个笔记,当时我们一起讨论罗列出来的几十条,感觉很有用,然后一直到现在也是看到的或者突然想到的一直在不停地往里面补充,没事经常翻翻,最近淘宝改版,改规则,大家也都在一直不停地研究,现在分享出来,希望对大家有所帮助. 据淘宝说影响排名的因素有200-300条,没有一一考究,以下罗列出来的都是一些感觉很重要的因素然后进行了同类整理,当然还有一些小的无关紧要的没有研究价值就不浪费时间写了.下文重要性与先后顺序无关,也欢迎朋友们补充. 1