hbase-0.98.7Hbase集群数据迁移问题，重构元数据时报的错误

问题描述

0.98.7Hbase集群数据迁移问题，重构元数据时报的错误
Hbase集群数据迁移，由于两个集群不能相互通信，因此采用磁盘拷贝数据表的方式，数据量不是很大，只有几个G而已，拷贝到hdfs文件系统的hbase目录下，最后执行copy_tables_desc.rb脚本重构meta表分区信息时报如下错误，[hadoop@master bin]$ ./hbase org.jruby.Main replication/copy_tables_desc.rb

NameError: cannot load Java class org.apache.hadoop.hbase.EmptyWatcher
get_proxy_or_package_under_package at org/jruby/javasupport/JavaUtilities.java:54
method_missing at file:/home/hadoop/netOFths/hbase-0.98.7-hadoop2/lib/jruby-complete-1.6.8.jar!/builtin/javasupport/java.rb:51
(root) at replication/copy_tables_desc.rb:30

显示加载不了EmptyWatcher这个类，小弟已经忙活了快一天了，网上各种百度，但还是解决不了，求各位大哥大姐帮帮忙吧

解决方案

HBase迁移数据方案（两个集群不能通信）
hbase集群间数据迁移
HBase迁移数据方案1（两个集群不能通信）

时间： 2024-10-04 11:53:34

hbase-0.98.7Hbase集群数据迁移问题，重构元数据时报的错误的相关文章

0.98.7Hbase集群数据迁移的问题

问题描述 Hbase集群数据迁移,由于两个集群不能相互通信,因此采用磁盘拷贝数据表的方式,数据量不是很大,只有几个G而已,拷贝到hdfs文件系统的hbase目录下,最后执行copy_tables_desc.rb脚本重构meta表分区信息时报如下错误,[hadoop@masterbin]$./hbaseorg.jruby.Mainreplication/copy_tables_desc.rb/hbase/data/defaultNameError:cannotloadJavaclassorg.ap

脚本-Hadoop搭建集群环境用start-all.sh启动时报如下错误

问题描述 Hadoop搭建集群环境用start-all.sh启动时报如下错误 看了下,应该是start-dfs.sh脚本的问题,但是里面没有配置绝对路径.... 解决方案 hadoop中的start-all.sh小看 解决方案二: 有相应的目录或文件吗?或者.sh是否有执行权限 解决方案三: 没相应的目录和文件,在hadoop中的复制一份hadoop1.1.2到hadoop1和hadoop2中去

E-MapReduce的HBase集群间迁移

HBase集群间数据迁移 0. 前置 HBase集群 HDFS Cluster-A hdfs:/A Cluster-B hdfs:/B Cluster-A集群数据迁移到Cluster-B 1. Export/Import 将Cluster-A中HBase表export到Cluster-B的HDFS中,然后在Cluster-B中使用import导入HBase a) Cluster-A和Cluster-B网络通 Cluster-B中建好相关迁移的表 hbase(main):001:0>create

一个助Hadoop集群数据快速上云工具

背景 越来越多的公司和企业希望将业务迁移到云上,同时业务数据也希望能更顺畅的迁移到云上. 当前业界有很多公司是以Hadoop技术构建数据中心,所以本文将探讨如何快速的将Hadoop文件系统(HDFS)上的数据迁移到云上. 在阿里云上使用最广泛的存储服务是OSS对象存储.OSS的数据迁移工具ossimport2可以将您本地或第三方云存储服务上的文件同步到OSS上,但这个工具无法读取Hadoop文件系统的数据,无法发挥Hadoop分布式的特点.并且因为工具只支持本地文件,所以需要将HDFS上的文件先

redis 3.0集群-redis 3.0后的集群如何搭建session共享

问题描述 redis 3.0后的集群如何搭建session共享 就是采用redis-trib.rb搭建的redis集群,如何在tomcat集群中配置起session共享? redis单点的:redis sentinel主从模式的这两种都已经找到相对应的session共享解决方案,在无比强大的网上冲浪获取. 但现在唯独3.0后的集群如何设置呢? 还未找到对应方案 解决方案 redis3.0搭建集群redis集群实现session共享tomcat集群基于redis共享session解决方案 解决方案

我为什么建议自建HBase集群应该迁移过来？

引言 最近云HBase商业化了,HBase在业界应用还是比较广泛.在云上环境下中,不少客户都自建了HBase集群,还有一部分用户是把HBase集群放在Hadoop离线集群内部.此文主要对比下云HBase数据库跟自建HBase的差异.另外,在成本上,云HBase数据库跟自建基本差不多,目前云HBase在推广打折阶段,比自建还便宜不少 自建HBase与ApsaraDB HBase对比 自建目前在云上,基本是基于ecs去自己构建,ApsaraDB HBase我们还是做了不少事情的: ApsaraDB

HBase最佳实践－集群规划

HBase自身具有极好的扩展性,也因此,构建扩展集群是它的天生强项之一.在实际线上应用中很多业务都运行在一个集群上,业务之间共享集群硬件.软件资源.那问题来了,一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源?另外,对于一个给定业务来说,应该如何规划集群的硬件容量才能使得资源不浪费?最后,一个给定的RegionServer上到底部署多少Region比较合适?想必这些问题都曾经困惑过很多HBaser,那本文将结合前人的分享以及笔者的经验简单的对这三个问题分别进行解析,抛砖引玉,希

大规模数据存储集群数据存放的设计，分布式shardid的生成 - 如何指定范围随机数, 分组随机数

标签 PostgreSQL , 分组ID生成 , 生成哈希映射 , sharding , shard 背景 在一些分布式数据库系统中,通常会有多个数据节点,用户的数据分布策略通常有一致性哈希.按列哈希.随机分布等. 除了随机分布,其他的分布方法数据和数据节点是一对一的关系. 上当节点数变得特别特别多的时候,数据如果依旧按照全局进行哈希分布,可能会带来一个问题,例如节点数到达1万个,一张1亿的表,会分布到1万个节点中,那么多个表进行JOIN时,会涉及到1万个节点的运算,这里面可能还涉及节点和节点之

zookeeper跨集群数据拷贝的例子

有这么一个场景,多套测试的zookeeper集群之间数据拷贝,按之前的理解,如果可以的话,直接拷贝zk的data文件可以解决问题. 但是最近碰到这么一个事情,只是无意中删除了一个集群某一个路径下的数据,由于data数据并不可读,不能有选择的copy.所以,在这场景下,只能通过代码的方式解决了.   我所用到的2个场景: 1. 误删除数据,从其它zookeeper集群拷贝 2. 搭建测试环境,直接从线上导入部分节点数据到本地   zookeeper管理node,基本和我们的文件系统一致,这个需求就