C#中实现MapReduce方法

如果不知道MapReduce是怎么工作的,请看这里,如果不知道MapReduce是什么,请google之!

今天“闲”来无事,忽想起C#里没有MapReduce的方法,构思之,coding之:

#region IEnumerable<T>.MapReduce
        public static Dictionary<TKey, TResult> MapReduce<TInput, TKey, TValue, TResult>(
            this IEnumerable<TInput> list,
            Func<TInput, IEnumerable<KeyValuePair<TKey, TValue>>> map,
            Func<TKey, IEnumerable<TValue>, TResult> reduce)
        {
            Dictionary<TKey, List<TValue>> mapResult = new Dictionary<TKey, List<TValue>>();
            foreach (var item in list)
            {
                foreach (var one in map(item))
                {
                    List<TValue> mapValues;
                    if (!mapResult.TryGetValue(one.Key, out mapValues))
                    {
                        mapValues = new List<TValue>();
                        mapResult.Add(one.Key, mapValues);
                    }
                    mapValues.Add(one.Value);
                }
            }
            var result = new Dictionary<TKey, TResult>();
            foreach (var m in mapResult)
            {
                result.Add(m.Key, reduce(m.Key, m.Value));
            }
            return result;
        }
        #endregion

注:由于在map方法里可emit多次,所以这里返回IEnumerable,下文例子中可以看到用yield return来实现。

例:

public class Person
{
    public int ID { get; set; }
    public string Name { get; set; }
    public int Age { get; set; }
}
static void Main(string[] args)
        {
            List<Person> list=new List<Person> ();
            list.Add(new Person { ID=1, Name="user1", Age=23 });
            list.Add(new Person { ID = 2, Name = "user2", Age = 24 });
            list.Add(new Person { ID = 3, Name = "user3", Age = 23 });
            list.Add(new Person { ID = 4, Name = "user4", Age = 25 });
            list.Add(new Person { ID = 5, Name = "user5", Age = 20 });

            var result = list.MapReduce<Person, int, string, string>(Map,
                (key, values) => string.Join(",", values));

            foreach (var d in result)
            {
                Console.WriteLine(d.Key + ":" + d.Value);
            }
        }

        public static IEnumerable<KeyValuePair<int, string>> Map(Person p)
        {
            if (p.Age > 22)
                yield return new KeyValuePair<int, string>(p.Age, p.Name);
        }

上面程序所做的事为统计年龄大于22的,各个年龄都有谁,显示如:

C:\Windows\system32\cmd.exe

23:user1,user3

24:user2

25:user4

请按任意键继续。。。

(嫌上传图片太麻烦,弄了个html版控制台,见谅!)

肯定有人会问为什么map不像reduce方法一样用lambda表达式,因为yield return不能在匿名方法和lambda表达式中!MS表示已知道这个问题,但重写yield花费很大,将来肯定会解决!

查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/Programming/csharp/

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索mapreduce
, list
, new
, public
, name
, person
, mapreduc
, list转dictionary
list和dictionary
c站、c语言、cf、ch、c罗,以便于您获取更多的相关知识。

时间: 2024-12-24 08:54:54

C#中实现MapReduce方法的相关文章

mongodb-MongoDB中的mapReduce中reduce文件只作用在一个文档上

问题描述 MongoDB中的mapReduce中reduce文件只作用在一个文档上 小白刚接触MongoDB,看到mapReduce这里不是很清楚,自己编了一段代码,想做个计数,然后发觉map方法出来的value如果只有一个元素的时候,好像不参与到reduce函数的计算中.如: var map=function(){ emit(this.name{count:1})}var reduce=function(keyvalues){ var count=0; for(var i in values)

空间数据库中基于MapReduce的kNN算法研究

空间数据库中基于MapReduce的kNN算法研究 大连海事大学  刘彪 本文首次尝试设计了一种云环境下的倒排网格索引和在该索引基础上进行的基于MapReduce的空间kNN查询.本文所做的主要工作如下:(1)针对二维空间中的数据点,本文设计了一种分布式的倒排网格索引方法,该索引方法完全符合空间数据索引的标准一动态性和简单性.由于倒排网格索引具有松耦合和无共享的特殊结构,所以该索引比较适合基于MapReduce的大规模空问数据的并行查询.(2)本文提出了一种基于MapReduce的空间倒排网格索

详解Python中的type()方法的使用

  这篇文章主要介绍了详解Python中的type()方法的使用,是Python入门中的基础知识,需要的朋友可以参考下 type()方法返回传递变量的类型.如果传递变量是字典那么它将返回一个字典类型. 语法 以下是type()方法的语法: ? 1 type(dict) 参数 dict -- 这是字典 返回值 此方法返回传递变量的类型. 例子 下面的例子显示type()方法的使用 ? 1 2 3 4 #!/usr/bin/python   dict = {'Name': 'Zara', 'Age'

Python中使用items()方法返回字典元素对的教程

  这篇文章主要介绍了Python中使用items()方法返回字典元素对的教程,是Python入门中的基础知识,需要的朋友可以参考下 items()方法返回字典的(键,值)元组对的列表 语法 以下是items()方法的语法: ? 1 dict.items() 参数 NA 返回值 此方法返回元组对的列表. 例子 下面的例子显示了items()方法的使用. ? 1 2 3 4 5 #!/usr/bin/python   dict = {'Name': 'Zara', 'Age': 7}   prin

Python中使用swapCase()方法转换大小写的教程

  这篇文章主要介绍了在Python中使用swapCase()方法转换大小写的教程,是Python入门中的基础知识,需要的朋友可以参考下 swapCase()方法返回所有可大小写,基于字符大小写交换字符串的一个副本. 语法 以下是swapCase()方法的语法: ? 1 str.swapcase(); 参数 NA 返回值 此方法返回其中所有基于大小写字符交换字符串的一个副本. 例子 下面的例子显示的swapCase()方法的使用. ? 1 2 3 4 5 6 7 #!/usr/bin/pytho

简单介绍Python2.x版本中的cmp()方法的使用

  这篇文章主要介绍了简单介绍Python2.x版本中的cmp()方法的使用,然而该方法在Python3.x版本中已并不再内置...需要的朋友可以参考下 cmp()方法比较两个列表的元素. 语法 以下是cmp()方法的语法: ? 1 cmp(list1, list2) 参数 list1 -- 这是要进行比较的第一个列表 list2 -- 这是要进行比较的第二个列表 返回值 如果元素是相同类型的,执行比较,并返回结果.如果元素是不同的类型,检查,看看他们是否是数字 如果是数字必要时强制进行数字比较

Python中List.count()方法的使用教程

  这篇文章主要介绍了Python中List.count()方法的使用教程,是Python入门中的基础知识,需要的朋友可以参考下 count()方法返回obj出现在列表的次数. 语法 以下是count()方法的语法: ? 1 list.count(obj) 参数 obj -- 这是在该列表被计数的对象. 返回值 此方法返回obj出现在列表的次数. 例子 下面的例子显示了count()方法的使用. ? 1 2 3 4 5 6 #!/usr/bin/python   aList = [123, 'x

Python中List.index()方法的使用教程

  这篇文章主要介绍了Python中List.index()方法的使用教程,是Python入门中的基础知识,需要的朋友可以参考下 index()方法返回obj出现在列表中最低位索引. 语法 以下是index()方法的语法: ? 1 list.index(obj) 参数 obj -- 这是被找到的对象 返回值 此方法返回找到的对象的索引,否则抛出一个异常,表明没有找到对应值 例子 下面的例子显示了index()方法的使用 ? 1 2 3 4 5 6 #!/usr/bin/python   aLis

JavaScript中的anchor()方法使用详解

  这篇文章主要介绍了JavaScript中的anchor()方法使用,是JS入门学习中的基础知识,需要的朋友可以参考下 此方法创建一个用作超文本目标的HTML锚. 语法 ? 1 string.anchor( anchorname ) 下面是参数的详细信息: anchorname: 定义了锚的名称 返回值: 返回其锚标记的字符串 例子: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 <html> <head> <title>JavaScript