python-Python如何实现多线程与多进程的配合工作?

问题描述

Python如何实现多线程与多进程的配合工作?

#!/usr/bin/env python
#coding=utf8

import multiprocessing
import threading
import threadpool
import time
import re
import os
'''
想法:
开启了11个进程,第一个进程是以多线程方式运行,再通过进程间通信来使其他进程工作.
'''
def put_test(str1): # 处理出函数名,开启多线程
print str1,
q.put(str1)
time.sleep(1)
def get_test(): # 进程池除第一个以外的进程
print ' 5'
print q.qsize(),os.getpid()
print q.get(True,1)
time.sleep(1)
###############################################################
if name=='__main__':
multiprocessing.freeze_support()
q=multiprocessing.Queue(maxsize = 10)
# 线程池
data=range(1,11)
pool=threadpool.ThreadPool(10)
requests=threadpool.makeRequests(put_test,data)
[pool.putRequest(req) for req in requests]
pool.wait()
# 进程池
pool2 = multiprocessing.Pool(processes=3)
for var in range(1,11): # 20个进程
pool2.apply_async(get_test,[])
pool2.close()
pool2.join()
print "size:",q.qsize()


这段代码出问题了,求助。

解决方案

出问题具体什么问题,是不是数据同步的问题。多加一些print分析。

解决方案二:

第一点就是现在很少使用进程,用的更多是多线程
第二点多线程或者多进程最容易出现的问题就是互斥资源的处理问题,一般的处理就是加锁
还有最好提问时能把错误删除贴上,便于分析

时间: 2024-10-30 18:57:53

python-Python如何实现多线程与多进程的配合工作?的相关文章

Python标准库08 多线程与同步 (threading包)

原文:Python标准库08 多线程与同步 (threading包) 作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢!   Python主要通过标准库中的threading包来实现多线程.在当今网络时代,每个服务器都会接收到大量的请求.服务器可以利用多线程的方式来处理这些请求,以提高对网络端口的读写效率.Python是一种网络服务器的后台工作语言 (比如豆瓣网),所以多线程也就很自然被Python语言支持. (关于多线程的原理和

深入解析PHP中的(伪)多线程与多进程

本篇文章是对PHP中的(伪)多线程与多进程进行了详细的分析介绍,需要的朋友参考下   (伪)多线程:借助外力利用WEB服务器本身的多线程来处理,从WEB服务器多次调用我们需要实现多线程的程序.QUOTE:我们知道PHP本身是不支持多线程的, 但是我们的WEB服务器是支持多线程的. 也就是说可以同时让多人一起访问. 这也是我在PHP中实现多线程的基础. 假设我们现在运行的是a.php这个文件. 但是我在程序中又请求WEB服务器运行另一个b.php 那么这两个文件将是同时执行的.(PS: 一个链接请

[Python]Python/PHP如何查询sql server中NTEXT类型数据

[Python]Python/PHP如何查询sql server中NTEXT类型数据 Version Date Creator Description 1.0.0.1 2006-11-23 郑昀 草稿   继续阅读之前,我们假设您熟悉以下知识: n         Python / PHP n         SQL Server 2000 SP4以上版本的Microsoft sql server n         pymssql n         NTEXT类型 本文讨论了在Python中

android开发-如何理解安卓开发当中对多线程和多进程

问题描述 如何理解安卓开发当中对多线程和多进程 如何理解安卓开发当中对多线程和多进程 如何理解安卓开发当中对多线程和多进程 解决方案 线程是程序执行的最小单位,线程通讯比较简单,进程相对独立.一个程序就是一个进程,一个程序执行的时候的每个任务就是一个线程.一个进程至少有一个线程,也可以有多个线程. 解决方案二: 一个进程包含多个线程 解决方案三: 多线程 多进程应该是系统概念 跟其他环境中概念相同

Python的GIL及多线程性能深入分析

GIL是什么 首先需要明确的一点是GIL并不是Python的特性,它是在实现Python解析器(CPython)时所引入的一个概念.就好比C++是一套语言(语法)标准,但是可以用不同的编译器来编译成可执行代码.有名的编译器例如GCC,INTEL C++,Visual C++等. Python也一样,同样一段代码可以通过CPython,PyPy,Psyco等不同的Python执行环境来执行.像其中的JPython就没有GIL.然而因为CPython是大部分环境下默认的Python执行环境.所以在很

Python中logging日志模块在多进程环境下的使用教程

前言 相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析.Python 的 logging 模块就是这种情况下的好帮手. logging 模块可以指定日志的级别,DEBUG.INFO.WARNING.ERROR.CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别.(如果不特别指定,默认级别是 warning) loggi

Python编码/文件读取/多线程

编码 常用的一般是gbk.utf-8,而在python中字符串一般是用Unicode来操作,这样才能按照单个字来处理,所以需要对不同的编码格式进行转化. 这里需要的函数decode和encode,形式都很简单,只要牢记对应的格式对应的编码就好 如果是utf-8,想转换成unicode content.decode('utf-8') 如果是Utf-8,想转换成gbk content.decode('utf-8').encode('gbk') 注意:对于Python可以在.py中指定编码格式,如下选

python threading模块操作多线程介绍_python

python是支持多线程的,并且是native的线程.主要是通过thread和threading这两个模块来实现的.thread是比较底层的模块,threading是对thread做了一些包装的,可以更加方便的被使用.这里需要提一下的是python对线程的支持还不够完善,不能利用多CPU,但是下个版本的python中已经考虑改进这点,让我们拭目以待吧.     threading模块里面主要是对一些线程的操作对象化了,创建了叫Thread的class.一般来说,使用线程有两种模式,一种是创建线程

python支持断点续传的多线程下载示例_python

复制代码 代码如下: #! /usr/bin/env python#coding=utf-8 from __future__ import unicode_literals from multiprocessing.dummy import Pool as ThreadPoolimport threading import osimport sysimport cPicklefrom collections import namedtupleimport urllib2from urlparse