Python提示[Errno 32]Broken pipe导致线程crash错误解决方法_python

本文实例讲述了Python提示[Errno 32]Broken pipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下：

1. 错误现象
ThreadingHTTPServer 实现的 http 服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报 [Errno 32] Broken pipe 错，并导致处理线程 crash.
下面先看个例子,python 版本: 2.7
示例代码

复制代码 代码如下:

#!/usr/bin/env python
#!coding=utf-8
 
import os
import time
import socket
import threading
from BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn
 
class RequestHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        """
        处理get请求
        """      
        query=self.path
        print "query: %s thread=%s" % (query, str(threading.current_thread()))
        
        #ret_str="<html>" + self.path + "<br>" + str(self.server) + "<br>" + str(self.responses) +  "</html>"
        ret_str="<html>" + self.path + "<br>" + str(self.server) +  "</html>"
        
        time.sleep(5)
        
        try:
            self.send_response(200)
            self.send_header('Content-type','text/html')
            self.end_headers()
            self.wfile.write(ret_str)
        except socket.error, e:
            print "socket.error : Connection broke. Aborting" + str(e)
            self.wfile._sock.close()  # close socket
            self.wfile._sock=None
            return False
       
        print "success prod query :%s" % (query)
        return True
 
#多线程处理
class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
    pass
    
if __name__ == '__main__':
    serveraddr = ('',9001)
 
    ser = ThreadingHTTPServer(serveraddr,RequestHandler)
    ser.serve_forever()
    sys.exit(0)

运行服务
./thread_http_server_error.py
第1次 curl ，等待返回

复制代码 代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello1′
<html>/hello1<br><__main__.ThreadingHTTPServer instance at 0x37483b0></html>[~]$
此时服务器端输出日志如下：
$./thread_http_server_error.py
query: /hello1 thread=
search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:02:27] “GET /hello1 HTTP/1.1″ 200 -
success prod query :/hello1

 第2次 curl ，不等待返回，ctrl +C 来模拟客户端断开

复制代码 代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello2′
[~]$ ctrl+C

此时服务器端输出日志如下：

复制代码 代码如下:

query: /hello2 thread=
search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:33:10] “GET /hello2 HTTP/1.1″ 200 -
socket.error : Connection broke. Aborting[Errno 32] Broken pipe
—————————————-
Exception happened during processing of request from ('10.232.41.142′, 48769)
Traceback (most recent call last):
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 582, in process_request_thread
self.finish_request(request, client_address)
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 323, in finish_request
self.RequestHandlerClass(request, client_address, self)
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 639, in __init__
self.handle()
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 337, in handle
self.handle_one_request()
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 326, in handle_one_request
 self.wfile.flush() #actually send the response if not already done.
File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/socket.py”, line 303, in flush
self._sock.sendall(view[write_offset:write_offset+buffer_size])
AttributeError: 'NoneType' object has no attribute 'sendall'

2. 原因分析

“[Errno 32] Broken pipe “ 产生的原因还是比较明确的，由于 client 在服务器返回前主动断开连接，所以服务器在返回时写 socket 收到SIGPIPE报错。虽然在我们的程序中也对异常进行了处理，将handler 的 wfile._sock 对象close 掉 ，但python 的库里BaseHTTPServer.py中BaseHTTPRequestHandler 类的成员函数handle_one_request还是会直接调用 wfile.flush ，而没有判断 wfile 是否已经 close。

复制代码 代码如下:

def handle_one_request(self):
    """Handle a single HTTP request.
 
    You normally don't need to override this method; see the class
    __doc__ string for information on how to handle specific HTTP
    commands such as GET and POST.
 
    """
    try:
        self.raw_requestline = self.rfile.readline(65537)
        if len(self.raw_requestline) > 65536:
            self.requestline = ''
            self.request_version = ''
            self.command = ''
            self.send_error(414)
            return
        if not self.raw_requestline:
            self.close_connection = 1
            return
        if not self.parse_request():
            # An error code has been sent, just exit
            return
        mname = 'do_' + self.command
        if not hasattr(self, mname):
            self.send_error(501, "Unsupported method (%r)" % self.command)
            return
        method = getattr(self, mname)
        method()
        #没有判断 wfile 是否已经 close 就直接调用 flush()
        self.wfile.flush() #actually send the response if not already done.
    except socket.timeout, e:
        #a read or a write timed out.  Discard this connection
        self.log_error("Request timed out: %r", e)
        self.close_connection = 1
        return

3. 解决办法

只要在RequestHandler重载其基类BaseHTTPRequestHandler的成员函数handle_one_reques（），在调用 wfile.flush() 前加上 wfile 是否已经 close 即可。

复制代码 代码如下:

#!/usr/bin/env python
#!coding=utf-8

import os
import time
import socket
import threading
from BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandler
from SocketServer import ThreadingMixIn

class RequestHandler(BaseHTTPRequestHandler):
    
    def handle_one_request(self):
        """Handle a single HTTP request.
 
        You normally don't need to override this method; see the class
        __doc__ string for information on how to handle specific HTTP
        commands such as GET and POST.
 
        """
        try:
            self.raw_requestline = self.rfile.readline(65537)
            if len(self.raw_requestline) > 65536:
                self.requestline = ''
                self.request_version = ''
                self.command = ''
                self.send_error(414)
                return
            if not self.raw_requestline:
                self.close_connection = 1
                return
            if not self.parse_request():
                # An error code has been sent, just exit
                return
            mname = 'do_' + self.command
            if not hasattr(self, mname):
                self.send_error(501, "Unsupported method (%r)" % self.command)
                return
            method = getattr(self, mname)
            print "before call do_Get"
            method()
            #增加 debug info 及 wfile 判断是否已经 close
            print "after call do_Get"
            if not self.wfile.closed:
                self.wfile.flush() #actually send the response if not already done.
            print "after wfile.flush()"
        except socket.timeout, e:
            #a read or a write timed out.  Discard this connection
            self.log_error("Request timed out: %r", e)
            self.close_connection = 1
            return
    
    def do_GET(self):
        """
        处理get请求
        """
        query=self.path
        print "query: %s thread=%s" % (query, str(threading.current_thread()))
 
        ret_str="<html>" + self.path + "<br>" + str(self.server) +  "</html>"
 
        time.sleep(5)
        
        try:
            self.send_response(200)
            self.send_header('Content-type','text/html')
            self.end_headers()         
            self.wfile.write(ret_str)
        except socket.error, e:
            print "socket.error : Connection broke. Aborting" + str(e)
            self.wfile._sock.close()
            self.wfile._sock=None
            return False
       
        print "success prod query :%s" % (query)
        return True
 
#多线程处理
class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
    pass
    
if __name__ == '__main__':
    serveraddr = ('',9001)
 
    ser = ThreadingHTTPServer(serveraddr,RequestHandler)
    ser.serve_forever()
    sys.exit(0)

运行服务
./thread_http_server.py
curl ，不等待返回，ctrl +C 来模拟客户端断开

复制代码 代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello2'
[~]$ ctrl+C

此时服务器端输出日志如下：

复制代码 代码如下:

$./thread_http_server.pybefore call do_Get
query: /hello2 thread=<Thread(Thread-1, started 1103210816)>
search041142.sqa.cm4.tbsite.net - - [15/May/2014 15:54:09] "GET /hello2 HTTP/1.1" 200 -
socket.error : Connection broke. Aborting[Errno 32] Broken pipe
after call do_Get
after wfile.flush()

希望本文所述对大家的Python程序设计有所帮助。

时间： 2024-10-26 03:17:54

Python提示[Errno 32]Broken pipe导致线程crash错误解决方法_python的相关文章

Python提示[Errno 32] Broken pipe 导致线程crash错误

1       错误现象 ThreadingHTTPServer 实现的 http 服务,如果客户端在服务器返回前,主动断开连接,则服务器端会报 [Errno 32] Broken pipe 错,并导致处理线程 crash. 下面先看个例子,python 版本: 2.7 示例代码  代码如下 复制代码 #!/usr/bin/env python #!coding=utf-8   import os import time import socket import threading from B

python中print的不换行即时输出的快速解决方法_python

关于Python2.x和3.x带来的print不换行的问题:昨天有发过推文,利用end = 定义,解决了横向的小问题,但是由于屏幕显示的问题,若字符串长度过大,则会引起不便.两个或多个print做分割的情况下,如何保持依然横向输出,一般的是在print尾部加上逗号(,)但是在3.x下,则不行,需要使用end = "(something)",some signs like , . ; 'also you can put a word or str in"". Exam

使用Python脚本实现批量网站存活检测遇到问题及解决方法_python

做渗透测试的时候,有个比较大的项目,里面有几百个网站,这样你必须首先确定哪些网站是正常,哪些网站是不正常的.所以自己就编了一个小脚本,为以后方便使用. 具体实现的代码如下: #!/usr/bin/python # -*- coding: UTF-8 -*- ''' @Author:joy_nick @博客:http://byd.dropsec.xyz/ ''' import requests import sys f = open('url.txt', 'r') url = f.readline

python base64 decode incorrect padding错误解决方法_python

python的base64.decodestring方法做base64解码时报错: 复制代码 代码如下: Traceback (most recent call last):   File "/export/www/outofmemory.cn/controllers/user.py", line 136, in decryptPassword     encryptPwd = base64.b64decode(encryptPwd)   File "/usr/lib/pyt

Python ValueError: invalid literal for int() with base 10 实用解决方法

  这篇文章主要介绍了Python ValueError: invalid literal for int() with base 10 实用解决方法,本文使用了一个取巧方法解决了这个问题,需要的朋友可以参考下 今天在写爬虫程序的时候由于要翻页,做除法分页的时候出现了 代码如下: totalCount = '100' totalPage = int(totalCount)/20 ValueError: invalid literal for int() with base 10的错误 网上同样的

win7系统提示你尚未正确安装工行网银控件的解决方法

  win7系统提示你尚未正确安装工行网银控件的解决方法           步骤一:打开我们在win7 32位系统中常用的浏览器,然后找到菜单栏中的"工具"打开菜单之后点击"Internet选项"打开Internet属性设置窗口,并把窗口设置切换到"安全"这个选项卡. win7系统 步骤二:在安全的选项卡下,我们看到下方有一个名为"自定义级别"的按钮,我们点击这个按钮之后,会进入到一个新的窗口进行设置,在窗口下方的列表里面找

Linux系统中操作文件数过多导致的错误解决方法

  linux 打开文件数 too many open files 解决方法 too many open files出现这句提示的原因是程序打开的文件/socket连接数量超过系统设定值. 查看每个用户最大允许打开文件数量 代码如下: ulimit -a fdipzone@ubuntu:~$ ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 2

win8系统登录QQ提示QQ软件已被破坏无法继续使用解决方法

  win8系统登录QQ提示QQ软件已被破坏无法继续使用解决方法.大家对腾讯QQ都比较熟悉吧,我们可以使用QQ聊天.视频.传输文件等等,但是有些用户在win8系统登录QQ一段时间后出现"QQ软件已被破坏,无法继续使用"的提示,重新启动QQ是正常的,但是没过一会又出现这样的问题,重启QQ已经不能从根本上解决问题了.针对此问题,下面小编讲解win8系统登录QQ提示"QQ软件已被破坏,无法继续使用"的解决方法. 计算机信息系统罪"> 故障原因:由于自己对Q

windows7安装Office2016出现1042错误导致无法继续的解决方法

  Office 2016是微软的一个办公软件的集合,其中包括了Word.Excel.ppt等等,功能强大.现如今办公中都会使用Office2016,在windows7系统中也会安装此款软件,一些用户安装到一半就会弹出错误提示,比如出现1042错误,然后安装程序就回滚了,导致无法继续安装,怎么办?针对win7安装Office2016出现1042错误导致无法继续的问题,下面小编分享具体的解决方法. 具体方法如下: 1.在双击打开Office2016光盘中的Setup,按默认设置进行安装; 2.安装