将mr写到Hbase上

新建maven项目
导入依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.100</groupId>
  <artifactId>MRHbasetest</artifactId>
  <version>0.0.1-SNAPSHOT</version>

  <dependencies>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.3</version>
</dependency>

  <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>1.2.0</version>
</dependency>
  <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server -->
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-server</artifactId>
    <version>1.2.0</version>
</dependency>

  </dependencies>
</project>

添加配置文件
(core-site.xml,hbase.site.xml,log4j.properties)

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/temp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
                <description>The directory shared by RegionServers.</description>
        </property>

        <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
        </property>
</configuration>

log4j.properties

# Global logging configuration
log4j.rootLogger=INFO, stdout
# MyBatis logging configuration...
log4j.logger.org 

.mybatis.example.BlogMapper=TRACE
# Console output...
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] - %m%n

代码

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

//计算wordcount 把结果保存到hbase里面
//bd17:wc 列簇:c 列名称 count 用单词table
public class MRToHbase {

    public static class MrToBaseMap extends Mapper<LongWritable, Text, Text, IntWritable> {

        private static final IntWritable ONE = new IntWritable(1);
        private String[] info;
        private Text outputKey = new Text();

        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
                throws IOException, InterruptedException {
            info = value.toString().split("\\s");
            for (String word : info) {
                if(word.length()!=0){
                outputKey.set(word);
                context.write(outputKey, ONE);
                }
            }
        }

    }

    // reducer 类需要继承自hbase api 中提供的tablereducer 类型
    public static class MrToHBaseReduce extends TableReducer<Text, IntWritable, NullWritable> {
        private int sum;
        private NullWritable outputKey = NullWritable.get();
        private Put outputValue;

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                Reducer<Text, IntWritable, NullWritable, Mutation>.Context context)
                throws IOException, InterruptedException {

            sum = 0;
            for (IntWritable value : values) {
                System.out.println(value.toString());
                sum += value.get();
                // 构建put对象 即往hbase里面插入一条数据的具体内容
            }
            // 构建put对象 即往hbase里面插入一条数据的具体内容
            outputValue =new Put(Bytes.toBytes(key.toString()));
            outputValue.addColumn(Bytes.toBytes("c"), Bytes.toBytes("count"), Bytes.toBytes(sum+""));
            context.write(outputKey, outputValue);
        }

    }

    //main 方法启动  并且设置hbase链接和输出格式

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //使用hbaseconfiguration 来创建job的配置对象
        Configuration configuration =HBaseConfiguration.create();
        Job job =Job.getInstance(configuration);
        job.setJarByClass(MRToHbase.class);
        job.setJobName("wordcount写入到hbase");
        job.setMapperClass(MrToBaseMap.class);
        job.setReducerClass(MrToHBaseReduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Mutation.class);

        //使用TableMapReduceUtil 工具类来做与hbase 交互的mr的初始化设置
        TableMapReduceUtil.initTableReducerJob("bd17:wc", MrToHBaseReduce.class, job);
        FileInputFormat.addInputPath(job, new Path("/reversetext/reverse1.txt"));
        System.exit(job.waitForCompletion(true)?0:1);
    }

}
时间: 2025-01-07 04:12:37

将mr写到Hbase上的相关文章

Flash ActionScript学习:把AS写在MC上

演示效果: 点击这里下载源文件 首先应当明确,目前大家公认的对影片剪辑(MovieClip)的称呼MC,如何创建一个MC呢?请按照下列方法之一操作: 1.按下Ctrl+F8 2. 选择菜单中的插入||新建元件 3. 在舞台绘制一个图形,右键单击||转换为元件||在行为中选择影片剪辑 4. 导入一张位图,右键单击||转换为元件||在行为中选择影片剪辑,等..... 现在我们已经绘制了一个影片剪辑.选中影片剪辑,打开动作面板,就可以在动作面板中输入语句了.请看我现在输入这些语句后,虫子MC会响应什么

photoshop制作写在公路上的字体教程

             photoshop制作写在公路上的字体教程

Hadoop 写数据或上传文件问题

问题描述 Hadoop 写数据或上传文件问题 Hadoop写数据的过程中 怎么得到所申请的blockid,求大神们帮助啊..... 解决方案 这个是底层实现的吧.......

oracle 存储过程或函数怎么把数据写到硬盘上?

问题描述 想在 存储过程 或者 函数中将 一些数据写到硬盘上,最好中文不要乱码.哪位大侠能告诉我怎么做吗? 问题补充:mrliang 写道 解决方案 外网应该不太可能,局域网可以,如果是windows,可以设置共享目录,如果是linux,利用smbfs也可以设置共享目录解决方案二:Oracle中提供的一个utl_file的包可以将字符串读写到文件中1 修改INIT.ORA文件,加上UTL_FILE_PATH = <要创建文件的路径名>2 建立存储过程create or replace proc

android-synchronized实现同步下载,是写在方法上还是写在函数内?

问题描述 synchronized实现同步下载,是写在方法上还是写在函数内? 安卓synchronized(this)是什么意思?和synchronized写在方法上的差异是什么? 解决方案 synchronized(this) 锁住当前对象synchronized修饰方法,这个方法是同步的 解决方案二: synchronized(obj)同步代码块,任何obj都可充当同步监视器,不限定于this.修饰方法时,其实就等于synchronized(this),调用该方法的对象来充当同步监视器. 解

请写一种上传附件的js方法?

问题描述 请写一种上传附件的js方法? 在导入导出中,我想把附件图片传到服务器,而把图片名与图片后缀名传到数据库,哪位大神有些这个的javascript方法吗?

andriod 编译 驱动-andriod编译后烧写到机子上第一次正常,第二次无法进入系统

问题描述 andriod编译后烧写到机子上第一次正常,第二次无法进入系统 自己编译的andriod固件,烧写到机器里,第一次可以正常启动系统,使用均正常,但是在关机时,弹出的消息框会抖动,变窄.关机后再次开机无法进入系统,但是背光是亮的,也有可能是进入系统但是lcd屏幕没有显示.具体原因还不知道,有没有大神知道这个问题该如何解决?或者该从什么方向入手解决?

ASP.NET MVC应用程序把文字写在图片上

原文:ASP.NET MVC应用程序把文字写在图片上 Insus.NET实现这篇<MVC把随机产生的字符串转换为图片>http://www.cnblogs.com/insus/p/3624235.html 之后,把字符串转换为图片,不如尝试,把字符串写在一张图片之上.好像有点添加水印的意思. 如果你了解此篇,实现水印的功能也自然懂得了. 参考下面方法,是核心的功能函数,传入文本,以及图片,返回的是Bitmap:   创建控件器,编写两个Action:   接下来,创建视图:   演示:    

将HBase通过mr传到hdfs上

package com.zhiyou100.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellScanner; import org.apache.hadoop.hbase.Cel