Impala 不能同步hive元数据

问题描述

Impala 不能同步hive元数据: 我在hive中建立表，再到impala-shell中却找不到该表，只有强制执行invalidate metadata命令后，才能在impala-shell中查找到该表
。impala的statestored，catalogd进程状态都好的。查看日志未发现异常。麻烦大家帮忙看看，谁遇到过类似的问题。
版本：impala2.2 cdh，hive1.1 cdh

时间： 2025-01-19 09:52:19

Impala 不能同步hive元数据的相关文章

微软同步框架(MSF)入门之八--使用WCF同步远程元数据(二)

到这里服务端的代码就全部列举出来了.当然本文中介绍的是元数据同步,而相应的SyncProvider实现是通过MySimpleSyncProvider.cs文件提供的,当然为了不让我的某些错误理解影响大家阅读源码,这里直接将相应的英文注释也放在这里. public class MySyncProvider : KnowledgeSyncProvider, IChangeDataRetriever, INotifyingChangeApplierTarget { // The name of the

微软同步框架(MSF)入门之八--使用WCF同步远程元数据(一)

在MSF中,提供了用于存取维护元数据的一些相应工具类,即Metadata Storage Service.它可帮助存储提供程序的同步元数据,该提供程序表示无法通过其他方式存储元数据的副本.Metadata Storage Service 使用占用较小内存和磁盘空间的轻型数据库,可以随提供程序重新分发,并且安全可靠. 其所提供的API 将元数据存储区与用于访问元数据存储区的接口和方法明确区分开,这样即可实现备用存储区,且对提供程序稍作变更即可使用备用存储区. 当然上面是SDK中的一些说法:) Me

Impala、Hive性能简单对比测试

Impala.Hive性能简单对比测试一.测试环境操作系统:CentOS6.4 大数据平台:CDH5.Hive.Impala.MapReduce 集群规模:3台服务器,每台64G内存(原谅小气的公司给了如此糟糕的开发环境) Impala共三几个后台Impalad进程,两个正常,一个失效,如图: 一.HBase加载数据首先,在HBase中创建一个表,表中列簇为f,有

yum安装CDH5.5 hive、impala的过程详解_Linux

一.安装hive 组件安排如下: 172.16.57.75 bd-ops-test-75 mysql-server 172.16.57.77 bd-ops-test-77 Hiveserver2 HiveMetaStore 1.安装hive 在77上安装hive: # yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y 在其他节点上可以安装客户端: # yum install hive hive-server2

Impala与Hive的对比分析

1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的 Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner.Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或HBase中用SELECT.JOIN和统计函数查询数据,从而大大降低了延迟.其架构如图 1所示,Impala主要由I

Impala与Hive的比较

cloudera impala-Cloudera Impala &amp;amp; Facebook Presto &amp;amp; Hive

问题描述 Cloudera Impala & Facebook Presto & Hive Hive将SQL语言映射为MapReduce进而实现查询,但往往相应较慢,在实时性上有欠缺.而Cloudera公司的Impala和Facebook提出的Presto同样支持SQL语言,但都没有使用MapReduce框架,查询的实时性很好. 我想请问一下Impala和Presto工作的具体原理是什么?

Cloudera 数据分析师培训：Pig、Hive和 Impala(CCA159)

Cloudera 数据分析师培训:Pig.Hive和 Impala 通过 Cloudera 公司的 Apache Hadoop 培训将您的知识提升到一个新的水平. Cloudera 大学提供的为期四天的数据分析培训课程专注于 Apache Pig. Hive 和 Cloudera Impala,将教会您如何将传统的数据分析和商业智能技术应用到大数据领域.Cloudera 为数据专业人员提供了基于 SQL 和其它熟悉的脚本编程语言的工具,用来访问.操作.转换和分析复杂数据集. "通过 Cloude

安装Impala过程

与Hive类似,Impala也可以直接与HDFS和HBase库直接交互.只不过Hive和其它建立在MapReduce上的框架适合需要长时间运行的批处理任务.例如:那些批量提取,转化,加载(ETL)类型的Job,而Impala主要用于实时查询. Hadoop集群各节点的环境设置及安装过程见使用yum安装CDH Hadoop集群,参考这篇文章. 1. 环境 CentOS 6.4 x86_64 CDH 5.0.1 jdk1.6.0_31 集群规划为3个节点,每个节点的ip.主机名和部署的组件分配如下