网络爬虫是什么

问题描述

急问,谢谢

解决方案

解决方案二:
就是一个程序,到互联网上抓网页。
解决方案三:
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。  这些处理被称为网络抓取或者蜘蛛爬行。很多站点,尤其是搜索引擎,都使用爬虫提供最新的数据,它主要用于提供它访问过页面的一个副本,然后,搜索引擎就可以对得到的页面进行索引,以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务,例如检查链接,确认html代码;也可以用来抓取网页上某种特定类型信息,例如抓取电子邮件地址(通常用于垃圾邮件)。  一个网络蜘蛛就是一种机器人,或者软件代理。大体上,它从一组要访问的URL链接开始,可以称这些URL为种子。爬虫访问这些链接,它辨认出这些页面的所有超链接,然后添加到这个URL列表,可以称作检索前沿。这些URL按照一定的策略反复访问。
解决方案四:
引用2楼yali4313的回复:

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。  这些处理被称为网络抓取或者蜘蛛爬行。很多站点,尤其是搜索引擎,都使用爬虫提供最新的数据,它主要用于提供它访问过页面的一个副本,然后,搜索引擎就可以对得到的页面进行索引,以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务,例如检查链接,确认html代码;也可以用来抓取网页上某种特定类型信息,例如抓取电子邮件地址(通常用于垃圾邮件)。  一个网络蜘蛛就是一种机器人,或者软件代理。大体上,它从一组要访问的URL链接开始,可以称这些URL为种子。爬虫访问这些链接,它辨认出这些页面的所有超链接,然后添加到这个URL列表,可以称作检索前沿。这些URL按照一定的策略反复访问。

up
解决方案五:
参考
解决方案六:
就像毛毛虫啊,呵呵
解决方案七:

解决方案八:
就是一群人有一天在网上实在无聊了,说:“咱们养只蜘蛛吧,教会这只蜘蛛把咱们需要的并且人家允许被收集的信息都收集起来,如果有人要找信息,就从咱们这儿找索引。”然后这只蜘蛛被越养越大,后来很多人都效仿第一群人,养蜘蛛的人越来越多,不过都没有第一批人养得好。
解决方案九:
了解。。。
解决方案十:
引用7楼walkghost的回复:

就是一群人有一天在网上实在无聊了,说:“咱们养只蜘蛛吧,教会这只蜘蛛把咱们需要的并且人家允许被收集的信息都收集起来,如果有人要找信息,就从咱们这儿找索引。”然后这只蜘蛛被越养越大,后来很多人都效仿第一群人,养蜘蛛的人越来越多,不过都没有第一批人养得好。

哈哈,你比我无聊啊
解决方案十一:
网络爬虫对网页而言,重在采集内容从一个网页入口,分析链接,一层一层的遍历,或者从一组网页入口,或者从一个rss源列表开始爬rss;获取每个页面的源码保存在磁盘或者数据库里;遍历抓下来的网页进行处理,比如提取正文,消重等;根据用途把处理后的文本进行索引、分类、聚类等操作
解决方案十二:
找个google的工程师问问。
解决方案十三:
根据连接找网页,再根据网页中的连接找网页
解决方案十四:
引用2楼yali4313的回复:

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。  这些处理被称为网络抓取或者蜘蛛爬行。很多站点,尤其是搜索引擎,都使用爬虫提供最新的数据,它主要用于提供它访问过页面的一个副本,然后,搜索引擎就可以对得到的页面进行索引,以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务,例如检查链接,确认html代码;也可以用来抓取网页上某种特定类型信息,例如抓取电子邮件地址(通常用于垃圾邮件)。  一个网络蜘蛛就是一种机器人,或者软件代理。大体上,它从一组要访问的URL链接开始,可以称这些URL为种子。爬虫访问这些链接,它辨认出这些页面的所有超链接,然后添加到这个URL列表,可以称作检索前沿。这些URL按照一定的策略反复访问。

解决方案十五:
类似搜索引擎的查找网页
解决方案:
抓网页的
解决方案:
该回复于2010-02-23 16:32:25被版主删除
解决方案:
主要是抓页面数据回去用的还有就是偷别人的东西
解决方案:
引用7楼walkghost的回复:

就是一群人有一天在网上实在无聊了,说:“咱们养只蜘蛛吧,教会这只蜘蛛把咱们需要的并且人家允许被收集的信息都收集起来,如果有人要找信息,就从咱们这儿找索引。”然后这只蜘蛛被越养越大,后来很多人都效仿第一群人,养蜘蛛的人越来越多,不过都没有第一批人养得好。

up
解决方案:
引用10楼wuyq11的回复:

网络爬虫对网页而言,重在采集内容从一个网页入口,分析链接,一层一层的遍历,或者从一组网页入口,或者从一个rss源列表开始爬rss;获取每个页面的源码保存在磁盘或者数据库里;遍历抓下来的网页进行处理,比如提取正文,消重等;根据用途把处理后的文本进行索引、分类、聚类等操作

挺全
解决方案:
百度一下不就知道啦,就是网页信息抓取程序把
解决方案:
百度一下。
解决方案:
聪明的人太多了,呵呵!

时间: 2024-09-19 20:40:54

网络爬虫是什么的相关文章

用Python语言实现网络爬虫

1.什么是网络爬虫 网络爬虫是现代搜索引擎技术的一种非常核心.基础的技术,网络就好比是一张蜘蛛网,网络爬虫就像是一只蜘蛛,在网络间'爬来爬去',搜索有用的信息. 2.抓取代理服务器的网络爬虫 本文介绍用python实现抓取代理服务器的网络爬虫,主要步骤是: 1)利用urllib2获取提供代理服务的网页信息(本文以http://www.cnproxy.com/proxy1.html为例) 2)利用正则表达式获取代理ip信息 3)利用多线程技术验证代理ip的有效性 1).抓取代理ip列表 def g

用Python编写网络爬虫(九):百度贴吧的网络爬虫(v0.4)源码及解析

百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同,都是通过查看源码扣出关键数据,然后将其存储到本地txt文件. 项目内容: 用Python写的百度贴吧的网络爬虫. 使用方法: 新建一个BugBaidu.py文件,然后将代码复制到里面后,双击运行. 程序功能: 将贴吧中楼主发布的内容打包txt存储到本地. 原理解释: 首先,先浏览一下某一条贴吧,点击只看楼主并点击第二页之后url发生了一点变化,变成了: http://tieba.baidu.com/p/2296712428?see_lz=1&pn=

用Python编写网络爬虫(八):糗事百科的网络爬虫(v0.2)源码及解析

项目内容: 用Python写的糗事百科的网络爬虫. 使用方法: 新建一个Bug.py文件,然后将代码复制到里面后,双击运行. 程序功能: 在命令提示行中浏览糗事百科. 原理解释: 首先,先浏览一下糗事百科的主页:http://www.qiushibaike.com/hot/page/1 可以看出来,链接中page/后面的数字就是对应的页码,记住这一点为以后的编写做准备. 然后,右击查看页面源码: 观察发现,每一个段子都用center标记,其中class必为content,title是发帖时间,我

用Python编写网络爬虫(六):一个简单的百度贴吧的小爬虫

# -*- coding: utf-8 -*- #--------------------------------------- # 程序:百度贴吧爬虫 # 版本:0.1 # 作者:why # 日期:2013-05-14 # 语言:Python 2.7 # 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数. # 功能:下载对应页码内的所有页面并存储为html文件. #--------------------------------------- import string,

用Python编写网络爬虫(五):urllib2的使用细节与抓站技巧

前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节. 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy. 如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理. 新建test14来实现一个简单的代理Demo: import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http" : 'http

用Python编写网络爬虫(四):Opener与Handler的介绍和实例应用

在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info and geturl urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl() 1.geturl(): 这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许会有重定向.获取的URL或许跟请求URL不同. 以人人中的一个超级链接为例, 我们建一个urllib2_test10.py来比较一下原始URL和重定向的链接: fr

用Python编写网络爬虫(三):异常的处理和HTTP状态码的分类

先来说一说HTTP的异常处理问题. 当urlopen不能够处理一个response时,产生urlError. 不过通常的Python APIs异常如ValueError,TypeError等也会同时产生. HTTPError是urlError的子类,通常在特定HTTP URLs中产生. 1.URLError 通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生. 这种情况下,异常同样会带有"reason"属性,它是一个tuple(可以理解为不可变的

用Python编写网络爬虫(二):利用urllib2通过指定的URL抓取网页内容

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地. 类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源. 在Python中,我们使用urllib2这个组件来抓取网页. urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件. 它以urlopen函数的形式提供了一个非常简单的接口. 最简单的urllib2的应用代码只需要四行. 我们新建一个文件urllib2_

用Python编写网络爬虫(一):抓取网页的含义和URL基本构成

一.网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字. 把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛. 网络蜘蛛是通过网页的链接地址来寻找网页的. 从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址, 然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止. 如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来. 这样看来,网络爬虫就是一个爬行程序,一个抓

网络爬虫-怎么使用pycharm来抓取旅游网站的信息

问题描述 怎么使用pycharm来抓取旅游网站的信息 通过网络爬虫爬取来自不同旅游网站的网页,同时需将网页内容进行分布式存储,然后对网页内容进行抽取和分析,提取其中的关键数据,包括但不限于线路编号.产品名称.出发城市.目的地城市.价格.出发日期.交通方式.旅游景点.酒店.行程安排等信息.用户输入出发城市.出发日期.旅游目的地等条件后,系统能按照一定的逻辑进行线路的展示和比价,方便用户做出决策. 解决方案 Java 用jsoup 通过标签获取. 解决方案二: 用python的scrapy爬虫框架来