hbase导出表数据到hdfs

问题描述

hbase导出表数据到hdfs

我需要把hbase中的表数据导入到hdfs

使用的命令 hbase org.apache.hadoop.hbase.mapreduce.Driver import user hdfs://master:9000/user

显示一直重新连接。连接九次后停住不到，已经被这个问题弄疯了 能解答吗各位

报错的信息是： 2015-01-22 00:43:32,293 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-01-22 00:43:33,295 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-01-22 00:43:34,297 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-01-22 00:43:35,299 INFO [main] ipc.Client: Retrying connect to server: localhost/127.0.0.1:18032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

时间： 2024-11-03 20:17:56

hbase导出表数据到hdfs的相关文章

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase对数据的增删查等操作.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和常用操

HBase写数据过程

博文说明:1.研究版本HBase 0.94.12:2.贴出的源代码可能会有删减,只保留关键的代码. 从client和server两个方面探讨HBase的写数据过程. 一.client端 1.写数据API 写数据主要是HTable的单条写和批量写两个API,源码如下: //单条写API public void put(final Put put) throws IOException { doPut(put); if (autoFlush) { flushCommits(); } } //批量写A

支撑上万并发毫秒级事务响应！银行大型机负载下移至GemFire+HBase大数据平台的创新(一)

MainFrame大型机行业应用介绍 大型机(mainframe)这个词,最初是指装在非常大的带框铁盒子里的大型计算机系统,以用来同小一些的迷你机和微型机有所区别.虽然这个词已经通过不同方式被使用了很多年,大多数时候它却是指system/360 开始的一系列的IBM计算机.这个词也可以用来指由其他厂商,如Amdahl, Hitachi Data Systems (HDS) 制造的兼容的系统. 近年来,随着国内银行.保险.证券和海关等企事业的处理信息需求量猛增,对处理速度的要求越来越高,要求响应时

flume到hdfs写入问题-flume采集数据到hdfs性能问题

问题描述 flume采集数据到hdfs性能问题 本人目前遇到flume采集写入hdfs性能等各种问题,大致如下.在10上的xx/xx目录下的数据进行读取 sink到08上的flume 由08上的flume写到07的hdfs上 30多m的文件写了好久.有时候会内存溢出等问题 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/configure the source a1

HBase在数据统计应用中的使用总结

1. 数据统计的需求 互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计.百度统计.Google Analytics.量子恒道统计等等. 网站站点统计工具无外乎有以下一些功能: 1)网站流量统计:包括PV.UV.IP等指标,这些统计指标可以以趋势图的形式展示出来,如最近一周.最近一个月等. 2)IP来源信息统计:记录各个来源IP下的访问PV数. 3)访问来源分析:记录访客是从哪些途径到达本网站的. 4)搜索引擎及搜索关键词分析:对于各个指定搜索引擎带来访问PV的

java对hbase读取数据时运行代码到new htable就不动了，会的大神们可以加Q

问题描述 java对hbase读取数据时运行代码到new htable就不动了,会的大神们可以加Q 解决方案 有人么 大神们 帮忙看看

《Hadoop实战手册》一1.8 从MongoDB导入数据到HDFS

1.8 从MongoDB导入数据到HDFS 本节将使用MongoInputFormat类加载MongoDB中的数据导入HDFS中. 准备工作 使用Mongo Hadoop适配器最简单的方法是从GitHub上克隆Mongo-Hadoop工程,并且将该工程编译到一个特定的Hadoop版本.克隆该工程需要安装一个Git客户端. 本节假定你使用的Hadoop版本是CDH3. Git客户端官方的下载地址是:http://git-scm.com/downloads. 在Windows操作系统上可以通过htt

大数据-hdoop集群下各hbase的数据是一样的吗？

问题描述 hdoop集群下各hbase的数据是一样的吗? 场景:要把全国31个省的数据从原来的oracle数据库导入到现在的hadoop集群,采用大数据以提高效率. 现在的环境是10台机器,Hadoop集群 问题是Hadoop集群的工作原理是怎样的?是把31个省的数据都导入每台机器的hbase还是每台机器的hbase导几个省,总共是31个省?怎么保证效率? 不懂吖 刚接触. 解决方案 10台机器的hadoop集群上配置hbase 分表空间 导入数据就可以了 都说了是集群了 所以10台用的是一份数

sqoop2:从mysql导出数据到hdfs

sqoop2:从mysql导出数据到hdfs中 sqoop-shell 启动sqoopp-shell jjzhu:bin didi$ sqoop2-shell Setting conf dir: /opt/sqoop-1.99.7/bin/../conf Sqoop home directory: /opt/sqoop-1.99.7 Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> set server --host localhost