Spark..........WordCount

quickstart 将英文单词基数 简单 整个过程比起hadoop快很多

package com.zhiyou100

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

  def main(args: Array[String]): Unit = {

    //创建分布式运行平台  和appname
    //使用master制定运行平台 yarn staandalong mesos(生产坏境) local（开发调试）
    //local(单线程) local[N]（多线程） local[*]（本地cpu有多少个核心就启动多少个线程）

//    val conf =new SparkConf().setMaster("local[2]").setAppName("word count")
//    val conf =new SparkConf().setMaster("spark://master:7077").setAppName("word count")
    val conf = new SparkConf()//.setAppName("word count")
    conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可

    // 构建SparkContect对象
    val sc =new SparkContext(conf)
    //加载数据源 获取RDD对象
    val fileRdd =sc.textFile("/reversetext/LICENSE.txt").flatMap(line=>line.split("\\s")).map(x=>(x,1)).reduceByKey((v1,v2)=>v1+v2)

    println("这是一个Driver 输出")

    fileRdd.foreach(println)

  }

}