简单的Map reduce用的收集函数

问题描述

在处理大量重复任务的时候,为了加快速度,通常会用map-reduce的方式,要是能有段代码做这个事情就好了。作者luke写了底下的代码片段,用起来感觉挺爽的,推荐给大家。原文见这里%% **://lukego.livejournal.com/6753.html – that doesn’t care about%% the order in which results are received.upmap(F, L) ->Parent = self(),Ref = make_ref(),[receive {Ref, Result} -> Result end|| _

时间: 2024-09-15 21:41:27

简单的Map reduce用的收集函数的相关文章

Python中的高级函数map/reduce使用实例_python

Python内建了map()和reduce()函数. 如果你读过Google的那篇大名鼎鼎的论文"MapReduce: Simplified Data Processing on Large Clusters",你就能大概明白map/reduce的概念. 我们先看map.map()函数接收两个参数,一个是函数,一个是序列,map将传入的函数依次作用到序列的每个元素,并把结果作为新的list返回. 举例说明,比如我们有一个函数f(x)=x2,要把这个函数作用在一个list [1, 2,

Python的filter, map, reduce和zip等内置序列函数

filter, map, reduce, zip都是针对python中的sequence数据类型的内置方法. 名词解释:本文中的iterable是指可迭代对象,包括sequence和iterator,及其他具有可迭代性的container. 1. filter(function, iterable) filter的工作原理是使用第一个参数对象(function或者None)来对第二参数对象iterable进行运算,并根据运算结 果的布尔值来过滤iterable中的元素. 对function返回值

Python内置函数之filter map reduce介绍_python

Python内置了一些非常有趣.有用的函数,如:filter.map.reduce,都是对一个集合进行处理,filter很容易理解用于过滤,map用于映射,reduce用于归并. 是Python列表方法的三架马车. 1. filter函数的功能相当于过滤器.调用一个布尔函数bool_func来迭代遍历每个seq中的元素:返回一个使bool_seq返回值为true的元素的序列. >>> N=range(10) >>> print filter(lambda x:x>

Lucene-Hadoop, GFS中Map/Reduce的简单实现

Hadoop是一个用于构建分布式应用程序的框架.Hadoop框架给应用程序透明的提供了一组稳定和可靠的接口.这项技术的实现得易于映射/ 归约编程范式.在这个范式里,一个应用程序被分割成为许多的小的任务块.每一个这样的任务块被集群中的任意一个节点的计算机执行或重新执行.此外,这种范 式还提供了一种分布式的文件系统,这种文件系统用来存储数据于集群中相互间具有高带宽的计算机上.映射/归约和分布式文件系统都被设计成为容错的结构.也 就是说,当集群中某个节点发生了故障整个文件系统或者映射/归约操作仍然能够

Hadoop Map/Reduce教程

目的 这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面. 先决条件 请先确认Hadoop被正确安装.配置和正常运行中.更多信息见: Hadoop快速入门对初次使用者. Hadoop集群搭建对大规模分布式集群. 概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集. 一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若

王亟亟的Python学习之路(八)-函数式编程,map(),reduce(),filter()

转载请注明出处:王亟亟的大牛之路 首先在这里祝愿大家,新年快乐,工作顺利,BUG少少!!! 本来说是在春节假期内继续维持着写文章的进度,但是还是偷懒了几天(打了4天SC2哈哈哈) 今天上的是关于Python的文章,毕竟在亲戚家拜年,懒得插各类手机调试什么的,况且确实好久没有弄Python了,就写了,废话不多,开始正题!! 函数式编程 函数是什么? 把复杂的操作化为简单的函数分解成简单的操作,这种操作就是面向过程,也就是C这类的实现的大体概念. 函数式是什么? 函数没有变量,任意一个函数,只要输入

Map Reduce - the Free Lunch is not over?

微软著名的C++大师 Herb Sutter在2005年初的时候曾经写过一篇重量级的文章:"The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software",预言OO之后软件开发将要面临的又一次重大变革-并行计算. 摩尔定律统制下的软件开发时代有一个非常有意思的现象:"Andy giveth, and Bill taketh away.".不管CPU的主频有多快,我们始终有办法来利用

Map/Reduce Task JVM堆的大小设置优化

前一阵子发现用户提交的hive query和hadoop job会导致集群的load非常高,经查看配置,发现很多用户擅自将mapred.child.java.opts设置的非常大,比如-Xmx4096m(我们默认设置是-Xmx1024m),  导致了tasktracker上内存资源耗尽,进而开始不断swap磁盘上数据,load飙升 TaskTracker在spawn一个map/reduce task jvm的时候,会根据用户JobConf里面的值设定jvm的参数,然后写入一个taskjvm.sh

分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)

二. 分布式计算(Map/Reduce) 分布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce 框架所设计的分布式框架.在Hadoop中,分布式文件系统,很大程度上,是为各种分布式计 算需求所服务的.我们说分布式文件系统就是加了分布式的文件系统,类似的定义推广到分 布式计算上,我们可以将其视为增加了分布式支持的计算函数.从计算的角度上看, Map/Reduce框架接受各种格式的键值对文件作为输入,读取计算后,最终生成自定义格式的 输出文件.而从分布式的角