python使用BeautifulSoup分页网页中超链接的方法_python

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出www.jb51.net主页上所有包含了jb51的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("http://www.jb51.net")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索python
, 网页
, 分页
, 链接
beautifulsoup
python beautifulsoup、beautifulsoup、beautifulsoup 安装、beautiful soup、beautifulsoup4,以便于您获取更多的相关知识。

时间: 2024-12-27 03:37:31

python使用BeautifulSoup分页网页中超链接的方法_python的相关文章

Python提取网页中超链接的方法_python

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接 代码如下: import urllib2 import re url = 'http://www.sunbloger.com/' req = urllib2.Request(url) con = urllib2.urlopen(req) doc = con.read() con.close() links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/

python使用urlparse分析网址中域名的方法_python

本文实例讲述了python使用urlparse分析网址中域名的方法.分享给大家供大家参考.具体如下: 这里给定网址,通过下面这段python代码可以很容易获取域名信息 import urlparse url = "http://www.jb51.net" domain = urlparse.urlsplit(url)[1].split(':')[0] print "The domain name of the url is: ", domain 输出结果如下: Th

python使用正则表达式分析网页中的图片并进行替换的方法

 这篇文章主要介绍了python使用正则表达式分析网页中的图片并进行替换的方法,涉及Python使用正则表达式的技巧,具有一定参考借鉴价值,需要的朋友可以参考下     本文实例讲述了python使用正则表达式分析网页中的图片并进行替换的方法.分享给大家供大家参考.具体分析如下: 这段代码分析网页中的所有图片表单<img>,分析后为其前后添加相应的修饰标签,并添加到图片的超级链接. 代码如下: result = value.replace("[ page ]","

用户界面讨论:网页中超链接的下划线

关于超链接中的下划线这个及细节的问题,想必大家都有过讨论和思考,最重要的原则即:让使用者清楚的区分超链接文本和其他文本形式,并潜意识知道可以点击.但对于是否可以潜意识知道可以点击,还是有争议的,不同的人,不同的环境会有不同的见解. 不妨分几个场景讨论一下: 1. 导航区域,潜意识我会去点击.   即便有下划线也是个"古老形式"的摆设,所以一般没有下划线:好的设计不仅满足点击,还满足视觉的层级关系. 2. 整页全是链接,下划线成了可有可无的表现. 象新浪.搜狐首页都是可以点击的,所以下划

python 抓包 获取网页中viewstate参数和eventvalidation的值

问题描述 python 抓包 获取网页中viewstate参数和eventvalidation的值 安徽水旱情信息网http://shangqing.wswj.net/TYFW/InfoQuery/HeDao.aspx,里面有 各个站点的水情信息,选好条件后查询,每个站点的信息大概有2000多页,之前写了一个Python程序(通过httplib,pyquery)可以自动下载这些数据.但问题是:比如要下载宜昌站的数据,点击查询后进入详情页即'...HeDao1.aspx',随便点击一个页码,然后通

请问python有没有读取网页中所有jpg图片链接并下载的实例?

问题描述 请问python有没有读取网页中所有jpg图片链接并下载的实例? 我想来学习下,自己弄了运行抓取不全,知道的说下吧. 谢 谢了. 解决方案 抓取不全找找原因,是遍历html文档中的图片没有找全还是下载某些图片的时候遇到错误没有下载下来. 解决方案二: 可以使用scrapy,python下最强大的爬虫框架http://scrapy.org/

python使用BeautifulSoup分析网页信息的方法_python

本文实例讲述了python使用BeautifulSoup分析网页信息的方法.分享给大家供大家参考.具体如下: 这段python代码查找网页上的所有链接,分析所有的span标签,并查找class包含titletext的span的内容 复制代码 代码如下: #import the library used to query a website import urllib2 #specify the url you want to query url = "http://www.python.org&

JavaScript返回网页中超链接数量的方法_javascript技巧

本文实例讲述了JavaScript返回网页中超链接数量的方法.分享给大家供大家参考.具体如下: 下面的JS代码通过document.links获取网页中的所有超级链接,从而获得超链接的数量 <!DOCTYPE html> <html> <body> <img src ="planets.gif" width="145" height="126" alt="Planets" usemap

JavaScript返回网页中超链接数量的方法

 下面的JS代码通过document.links获取网页中的所有超级链接,从而获得超链接的数量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <!DOCTYPE html> <html> <body> <img src ="planets.gif" width="145" height="126" alt="Planets" usemap =&qu