Python提取网页中的超链接地址方法

最近正在学习Python，打算用作爬虫开发。既然要做爬虫，首先就要抓取网页，并且从网页中提取出超链接地址。

下面是最简单的实现方法，先将目标网页抓回来，然后通过正则匹配a标签中的href属性来获得超链接，代码如下：

代码如下

复制代码

import urllib2
import re

url = 'http://www.111cn.net/'

req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()

links = re.findall(r'href＼=＼"(http＼:＼/＼/[a-zA-Z0-9＼.＼/]+)＼"', doc)
for a in links:
print a

如果抓取的111cn的内容他就会把所有的以http开头的连接地址全部提取出来了，其实就是获取当前页面的外链了。

时间： 2025-01-27 01:32:37

Python提取网页中的超链接地址方法的相关文章

python分析网页上所有超链接的方法

这篇文章主要介绍了python分析网页上所有超链接的方法,涉及Python使用urllib模块操作页面超链接的技巧,需要的朋友可以参考下 ? 1 2 3 4 5 6 7 8 9 import urllib, htmllib, formatter website = urllib.urlopen("http://yourweb.com") data = website.read() website.close() format = formatter.AbstractFormatte

Python提取网页中超链接的方法_python

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接代码如下: import urllib2 import re url = 'http://www.sunbloger.com/' req = urllib2.Request(url) con = urllib2.urlopen(req) doc = con.read() con.close() links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/

提取网页中的超链接(C＃)

链接|网页 using System;using System.Xml;using System.Text;using System.Net;using System.IO;using System.Collections;using System.Text.RegularExpressions; public class App{ public static void Main() { string strCode; ArrayList alLinks; Console.Write("请输入一

如何提取网页中的超链接

问题描述 usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Threading.Tasks;usingSystem.IO;usingSystem.Net;usingSystem.Text.RegularExpressions;usingSystem.Collections;usingSystem.Xml;namespaceConsoleApplication14{cl

URL 筛选小工具提取网页中的链接地址_vbs

使用方法:将下面的代码保存为jb51.vbs然后拖动你保存在本地的htm页面,拖放在这个vbs即可复制代码代码如下: '备注:URL筛选小工具 '防止出现错误 On Error Resume Next 'vbs代码开始---------------------------------------------- Dim p,s,re If Wscript.Arguments.Count=0 Then Msgbox "请把网页拖到本程序的图标上!",,"提示" Ws

正则表达式,提取网页中的链接地址

<td class=cate width="45%" style="word-break:break-all"> <a class=M href="http://jmfengcai.cn.alibaba.com/athena/companydetail/jmfengcai.html" onMouseDown="return aliclick(this,'?alishop=companylistcompany

正则表达式,提取网页中的链接地址_正则表达式

Python获取网页上图片下载地址的方法_python

本文实例讲述了Python获取网页上图片下载地址的方法.分享给大家供大家参考.具体如下: 这里获取网页上图片的下载地址是正在写的数据采集中的一段,代码如下: 复制代码代码如下: #!/user/bin/python3 import urllib2 from HTMLParser import HTMLParser class MyHtmlParser(HTMLParser): links = [] def handle_starttag(self, tag, attrs):

python获取指定网页上所有超链接的方法_python

本文实例讲述了python获取指定网页上所有超链接的方法.分享给大家供大家参考.具体如下: 这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址 import urllib2 import re #connect to a URL website = urllib2.urlopen(url) #read html code html = website.read() #use re.findall to get all the links links