在Python下使用Txt2Html实现网页过滤代理的教程_python

在撰写本 developerWorks 系列文章的过程中,我曾遇到过以最佳格式进行撰写的问题。文字处理程序格式都是专用的,在格式之间转换总不能尽如人意,也很麻烦(而且每种格式都会各自将文档绑定到不同的专用工具,这种情况又与开放源码的精神相违背)。HTML 还算中立 -- 也许您现在阅读的文章正是这种格式 -- 但它也添加了标记,而这些标记很容易引起误输入(或者使人束缚于 HTML 增强型编辑器)。DocBook 是一种有趣的 XML 格式,它可以转换成许多目标格式,并且它拥有技术文章(或书籍)的正确语义;但就像 HTML 一样,在撰写过程中会担心许多标记。LaTeX 特别适合复杂的印刷格式;但它也有许多标记,而这些文章并不需要复杂的印刷格式。

为了在写作时能真正省心 -- 特别是要具有平台和工具的中立性 -- 无格式 ASCII 正是最好的选择。但是,因特网(特别是 Usenet)建议在完全无格式文本的基础上,开发一种“智能 ASCII”文档的非正式标准(请参阅 参考资料 )。“智能 ASCII”只添加了一点额外的语义内容和上下文,而且它们在文本显示中看起来是那么“自然”。电子邮件、新闻组邮件、FAQ、项目自述文件 (README) 和其它电子文档通常包括一些印刷/语义元素,如强调字前后的星号、标题下的下划线、描述文本关系的竖直和水平空格、有选择性的全大写和其它一些信息。Project Gutenberg(请参阅 参考资料 )是一种惊人的成果,它将许多想法加入其自身格式构思中,并认为“智能 ASCII”是长时间保存和分发好书的最佳选择。即使这些文章不会像文学名著那样经久不衰,仍决定将它们写成“智能 ASCII”格式,并用方便的 Python 脚本将它们自动转换成其它格式。
介绍 Txt2Html

Txt2Html 最初是一个简单的文件转换器,从其名称上就可以看出。但因特网建议在工具上添加几个明显的增强功能。因为有许多读者想以“HTML 化”格式查看的文档都在 http: 或 ftp: 链接的后面,所以工具应该真正直接处理这样的远程文档(而不需要下载/转换/查看循环周期)。因为转换的目标最终是 HTML,通常我们要做的就是在 Web 浏览器中查看转换后的目标文档。

将这些放到一起后,Txt2Html 就成了“基于 Web 的过滤代理”。这个词很奇特,也许恰好能“完全表达其含义”。它们体现了以下想法:程序代表您阅读 Web 页面(或其它资源),以某种方式处理内容,然后以某种比原始页面 更好 的形式(至少能满足某些特殊目的)向您显示该页面。这种工具的一个很好例子就是 Babelfish 翻译服务(请参阅 参考资料 )。在通过 Babelfish 运行了 URL 之后,您看到的 Web 页面与原始页面非常相似,但它显示了您能够读懂的文字,而不是您不理解的语言。在某种程度上,所有显示搜索结果页面摘要的搜索引擎所做的都是相同的事情。但那些搜索引擎(按设计)在目标页面的格式以及外观方面有更多的自由度,同时会去掉许多内容。当然,Txt2Html 并不如 Babelfish 那样功能强大;但概念上,它们很大程度上完成相同的事情。请参阅 参考资料以获取更多的例子,其中一些还很幽默。

Txt2Html 最大的优点是使用许多编程技巧,而这些技巧对于不同面向 Web 使用 Python 是共通的。本文将介绍那些技巧,并会说明编码技巧和一些 Python 模块的作用域。请注意:Txt2Html 中的实际模块叫做 dmTxt2Html,以避免与其他人编写的模块名称发生冲突。

使用 cgi 模块

Python 标准发行版中的 cgi 模块对于任何用 Python 开发“公共网关接口”应用程序的人来说都是意外惊喜。可以不使用它来创建 CGI,但您不会这样做。

最通常的情况下,您会通过 HTML 表单与 CGI 应用程序进行交互。要填写调用 CGI 的表单以执行使用规范的操作。例如,Txt2Html 文档使用这个例子来调用 HTML 表单(Txt2Html 自身生成的表单比较复杂,并且可能会改变,但示例将会很好地工作,甚至是在您自己的 Web 页面中):
调用 'Txt2Html' 的 HTML 表单

    <form method="get" action="http://gnosis.cx/cgi/txt2html.cgi">
     URL: <input type="text" name="source" size=40>
     <input type="submit" name="go" value="Display!">
    </form>

可以在 HTML 表单中包括许多输入字段,而字段可以是许多不同类型中的一种(文本、复选框、单选列表、单选按钮等)。任何讲述 HTML 的好书可以帮助初学者创建定制 HTML 表单。此处最需要牢记的是每个字段都有名称属性,而以后会在 CGI 脚本中使用该名称来引用该字段。另一个需要了解的细节是表单可以使用以下两种方法中的一种:"get" 和 "post"。它们的基本差异是 "get" 在 URL 中包括了查询信息,并且这个方法使用户易于保存特定查询以便日后重复使用。另一方面,如果您不希望用户保存查询,请使用 "post" 方法。

以上表单调用的 Python 脚本将导入 cgi 以使整理其调用表单变得更容易。这个模块所做的一件事就是隐藏 CGI 脚本中 "get" 和 "post" 方法之间差异的任何细节。在进行调用之前,这并不是 CGI 创建程序需要操心的细节。该 CGI 模块的主要作用是处理类似于字典样式的调用 HTML 表单中的所有字段。您所得到的并不是 真正 的 Python 字典,但它们的使用方式极其相似:
使用 Python [cgi] 模块

import
     cgi, sys
  cfg_dict = {
    'target':
    '<STDOUT>'}
  sys.stderr = sys.stdout
  form = cgi.FieldStorage()

    if
     form.has_key(
    'source'):
   cfg_dict[
    'source'] = form[
    'source'].value

在以上几行中,要注意几处细节。我们所使用的一个技巧是设置 sys.stderr = sys.stdout。如果我们的脚本遇到了一个未捕获的错误,通过这个操作,追溯就显示回到客户机浏览器。这可以节省许多调试 CGI 应用程序的时间。但您也许不想让用户看到这些(或者如果它们可能向您报告问题详细信息,您也许会向用户显示这些内容)。接着,我们将 HTML 表单值读取到类似于字典的 form 实例中。表单有一个 .has_key() 方法,这与真正的 Python 字典非常相似。但是,与 Python 字典不同,要真正获取键中的值,我们必须查看键的 .value 属性。

至此,HTML 表单中的所有东西都成了纯 Python 变量,而且我们可以在其它任何 Python 程序中处理它们。

使用 urllib 模块

就像大多数 Python 模块一样,urllib 以直观且简单的方法处理许多复杂事物。urllib 中的 urlopen() 函数可以处理任何远程资源 -- 无论是 http:、ftp: 还是 gopher: --就将它当作是本地文件。如果使用 urlopen() 抓取了一个远程(伪)文件对象,可以将它当作本地(只读)文件的文件对象来进行处理:
使用 Python [urllib] 模块

from
     urllib
    import
     urlopen

    import
     string
  source = cfg_dict[
    'source']

    if
     source ==
    '<STDIN>':
   fhin = sys.stdin

    else
    :

    try
    :
   fhin = urlopen(source)

    except
    :
   ErrReport(source+
    ' could not be opened!', cfg_dict)

    return

     doc =
    ''

    for
     line
    in
     fhin.readlines():
    # Need to normalize line endings!
   doc = doc+string.rstrip(line)+
    '\n'

我曾遇到过一个小问题,由于生成资源的平台和您的平台使用不同的行结束约定,生成的文本中可能会发生某些奇怪的事(这似乎是 urllib 中的错误)。这个问题的解决方法是在以上代码中执行小小的 .readlines() 循环。不管该资源原来是什么样子,这个操作会给您一个字符串,它都有所使用平台的正确行结束约定(估计可能合理)。

使用 re 模块

由于本文篇幅限制,这里只讨论一部分规则表达式。参考资料中列出了许多关于该主题的参考书籍。 re 模块在 Txt2Html 中的使用很广泛,用于标识源文本中的各种文本模式。我们查看一个比较复杂的例子:
使用 Python [re] 模块

import
     re

    def
      URLify
    (txt):
   txt = re.sub(
    '((?:http|ftp|gopher|file)://(?:[^ \n\r<\)]+))(\s)',

    '<a href="\\1">\\1</a>\\2', txt)

    return
     txt

URLify() 是一个小巧函数,它的功能正如其名称所示。如果在“智能 ASCII”文件中遇到了类似于 URL 的字符串,它将转换成 HTML 输出中同一个 URL 真正的热链接。让我们看看 re.sub() 的作用。首先,从最主要的角度来看,函数的目的是“查找与第一个模式中的值匹配的字符串,然后通过将第三个变量作为要操作的字符串,以第二个模式替换匹配结果”。非常好,从这些角度来看,它与 string.replace() 没有什么区别。

第一个模式有几个元素。首先,请注意括号:最高层次由两对括号组成:(\S) 前复杂的字符串。括号对与可能组成部分替换模式的“子表达式”匹配。第二个子表达式 (\s) 只表示“查找与任何空格字符匹配的字符串,让我们回过来看什么与之匹配”。因此,让我们研究一下第一个子表达式。

Python 规则表达式有它自己的一些技巧。其中一个技巧是子表达式开始处的 ?: 运算符。这表示“查找子模式的匹配字符串,但不包括反向引用中的匹配结果”。那么,让我们检查一下这个子表达式:

    ((?:http|ftp|gopher|file)://(?:[^ \n\r<\)]+))。

首先,请注意这个子表达式本身由两个子表达式组成,两者之间的字符并不属于任何一方。但是,每个子表达式都由 ?: 开头,它表示这两者匹配,但不是为了满足引用目的。第一个“非引用”子表达式只表示“查找类似于 http 或ftp 或 其它值的字符串”。接着,我们看到字符串 :// ,它表示查找与它完全相似的字符串(简单吗?)。最后,我们看到第二个子表达式,它除了有由方括号组成的“不引用”运算符外,还有一个加号。

在规则表达式中,方括号只表示“查找与方括号中任何字符的匹配字符”。但是,如果第一个字符是插入记号 (^),含义则相反,它表示“查找任何与后面的字符 不匹配的字符”。因此,我们正在查找 不 是空格、CR、LF、"<" 或 ")" 的字符(还请注意,可以通过在字符前面加 "\",避开对于规则表达式有特殊意义的字符)。结尾处的加号表示“查找最后字符串的一个或多个匹配”(星号表示“零个或多个”,问号表示“零个或一个”)。

这个规则表达式有许多内容有待理解,但如果多看几遍,您就会明白这就是 URL 的格式。

接着就是替换部分。这就更简单了。看上去类似 \\1 和 \\2 (或者 \\3 、 \\4 等,如果需要的话)的部分就是刚谈到的“反向引用”。\\1(或 \\2)表示模式与匹配表达式的第一个(或第二个)子表达式相匹配。替换部分的其余组成部分没有什么特别含义:只是一些容易识别为 HTML 代码的字符。有一件事比较麻烦,那就是匹配 \\2 -- 它看上去就是一个空格字符。也许有人会问:“有什么麻烦的?为什么不直接插入一个空格字符?”问得好,实际上我们不 需要 执行对 HTML 的操作。但从美学角度来看,最好让 HTML 输出尽可能保留转换成 HTML 标记之前的源文本文件外观。尤其是,让我们将换行符保留成换行符,空格就是空格(Tab 键就是 Tab 键)。

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索python
python实现协同过滤、python实现代理服务器、python 实现http代理、python 实现代理、python 过滤特殊字符,以便于您获取更多的相关知识。

时间: 2024-11-29 21:06:30

在Python下使用Txt2Html实现网页过滤代理的教程_python的相关文章

给Python的Django框架下搭建的BLOG添加RSS功能的教程_python

前些天有位网友建议我在博客中添加RSS订阅功能,觉得挺好,所以自己抽空看了一下如何在Django中添加RSS功能,发现使用Django中的syndication feed framework很容易实现.     具体实现步骤和代码如下:     1.Feed类 # -*- coding: utf-8 -*- from django.conf import settings from django.contrib.syndication.views import Feed from django.

Python的爬虫程序编写框架Scrapy入门学习教程_python

1. Scrapy简介Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试 Scrapy 使用了 Twisted异步网络库来处理网络通讯.整体架构大致如下 Scrapy主

用Python的Django框架完成视频处理任务的教程_python

Stickyworld 的网页应用已经支持视频拨放一段时间,但都是通过YouTube的嵌入模式实现.我们开始提供新的版本支持视频操作,可以让我们的用户不用受制于YouTube的服务. 我过去曾经参与过一个项目,客户需要视频转码功能,这实在不是个容易达成的需求.需要大量的读取每一个视频.音讯与视频容器的格式再输出符合网页使用与喜好的视频格式. 考虑到这一点,我们决定将转码的工作交给 Encoding.com .这个网站可以免费让你编码1GB大小的视频,超过1GB容量的文件将采取分级计价收费. 开发

Python使用SocketServer模块编写基本服务器程序的教程_python

SocketServer简化了网络服务器的编写.它有4个类:TCPServer,UDPServer,UnixStreamServer,UnixDatagramServer.这4个类是同步进行处理的,另外通过ForkingMixIn和ThreadingMixIn类来支持异步. 创建服务器的步骤.首先,你必须创建一个请求处理类,它是BaseRequestHandler的子类并重载其handle()方法.其次,你必须实例化一个服务器类,传入服务器的地址和请求处理程序类.最后,调用handle_requ

Python中一些自然语言工具的使用的入门教程_python

NLTK 是使用 Python 教学以及实践计算语言学的极好工具.此外,计算语言学与人工 智能.语言/专门语言识别.翻译以及语法检查等领域关系密切.NLTK 包括什么 NLTK 会被自然地看作是具有栈结构的一系列层,这些层构建于彼此基础之上.那些熟悉人工语言(比如 Python)的文法 和解析的读者来说,理解自然语言模型中类似的 -- 但更深奥的 -- 层不会有太大困难. 术语表 全集(Corpora):相关文本的集合.例如,莎士比亚的作品可能被统称为一个 文集(corpus): 而若干个作者的

在Python的Flask框架中使用模版的入门教程_python

 概述 如果你已经阅读过上一个章节,那么你应该已经完成了充分的准备工作并且创建了一个很简单的具有如下文件结构的Web应用:   microblog     |-flask文件夹     |-<一些虚拟环境的文件>     |-app文件夹     |  |-static文件夹     |  |-templates文件夹     |  |-__init__.py文件     |  |-views.py文件     |-tmp文件夹     |-run.py文件 亲,想要运行这个程序么?那就运行这

使用Python中的线程进行网络编程的入门教程_python

引言 对于 Python 来说,并不缺少并发选项,其标准库中包括了对线程.进程和异步 I/O 的支持.在许多情况下,通过创建诸如异步.线程和子进程之类的高层模块,Python 简化了各种并发方法的使用.除了标准库之外,还有一些第三方的解决方案,例如 Twisted.Stackless 和进程模块.本文重点关注于使用 Python 的线程,并使用了一些实际的示例进行说明.虽然有许多很好的联机资源详细说明了线程 API,但本文尝试提供一些实际的示例,以说明一些常见的线程使用模式. 全局解释器锁 (G

用Python制作检测Linux运行信息的工具的教程_python

在这篇文章里,我们将会探索如何使用Python语言作为一个工具来检测Linux系统各种运行信息.让我们一起来学习吧. 哪种Python? 当我提到Python时,我一般是指CPython 2(准确来说是2.7).当同样的代码不能在CPython3(3.3)运行时,我们明确地把它指出并给出替代的代码,解释它们之间的不同点.请确保你已经安装了CPython,在终端输入python或者python3你会看到Python提示符出现在你的终端里. 请注意,所有的脚本程序都会以#!/usr/bin/env

Python中用memcached来减少数据库查询次数的教程_python

本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个很简单很白痴但是 我一直没发现的好方法(不得不BS我自己):直接像某些php应用比如Discuz论坛那样,在生成的网页中打印出"本页面生成时间多少多少秒",然后在 不停地访问网页测试时,很直观地就能发现什么操作会导致瓶颈,怎样来解决瓶颈了. 于是我发现SimpleCD在 生成首页时,意外地竟然需要0.2秒左右,真真不能忍:对比Discuz论坛首页平均生成才0.02秒,而Dis