hive load from hdfs出错

使用hive load从hdfs中load data的时候,hiveql如下:

load data inpath 'hdfs://192.168.0.131:9000/hive/test.log'
overwrite into table test_log
partition(dt="20130703");

出错:

FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''hdfs://192.168.0.131:9000/hive/test.log'': Move from: hdfs://192.168.0.131:9000/hive/test.log to: hdfs://namenode:9000/home/hadoop/hive/warehouse/test_log/dt=20130703 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict.

查找度娘、谷哥没找到相应的解决方案。后来回头一想,之前在做hbase的一些操作的时候,直接使用ip也不行,转换成别名即可。

load data inpath 'hdfs://namenode:9000/hive/test.log'
overwrite into table test_log
partition(dt="20130703");

尝试之下,再次测试,成功执行。

时间: 2024-11-12 21:12:36

hive load from hdfs出错的相关文章

json 返回hibernate load查询数据出错

问题描述 json 返回hibernate load查询数据出错 我用get()方法查询出来的数据print到页面不会有错!但是用load()方法查询出来的数据print到页面是就出现错误!如果在实体中设置lazy=""false""也不会出错!哪位高手给说明一下原因, 解决方案 懒加载呗........ 解决方案二: 那怎么解决,不会是每一个实体中都设置lazy=""false""吧 解决方案三: 看下load和get的区别

图片-hive load加载数据行分隔符问题

问题描述 hive load加载数据行分隔符问题 为什么我建表的时候设定了行分割符为 怎么插入的后面四行数据都是null 解决方案 hive如何处理多分隔符数据

hive数据怎么导入

  1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表. 例如: 编辑文件test.txt $ cat test.txt 1 hello 2 world 3 test 4 case 字段之间以't'分割 启动hive: $ hive 建external表: hive> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > COMMENT

hadoop: hive 1.2.0 在mac机上的安装与配置

环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可) hive官网地址:http://hive.apache.org/ 建议:经个人实践,在mac OS X Yosemite 环境下,如果使用apache下载的原始hadoop 2.6.0,不管jdk安装成什么版本(1.6\1.7\1.8都试过),hive 1.2.0启动时,始终报jdk版本不匹配,

Hadoop学习笔记(三):Hive简介

定义       Hive是一个构建在Hadoop上的数据仓库框架.可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.(来自百度百科~~) metastore       metastore是Hive元数据的集中存放地,metastore包括两部分:服务和后台数据的存储.默认情况

hive跟hbase整合用hive导入数据报错,报一个路径不是目录。

问题描述 hive跟hbase整合用hive导入数据报错,报一个路径不是目录. hive>load data local inpath '/home/hadoop/ha1.txt' into table ha1; FAILED: Hive Internal Error: java.lang.RuntimeException(org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is no

高可用Hadoop平台-集成Hive HAProxy

1.概述 这篇博客是接着<高可用Hadoop平台>系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述: 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 下面开始进行环境准备. 2.环境准备 Hive版本:<Hive-0.14> HAProxy版本:<HAProxy-1.5.11> 注:前提是 Hadoop 的集群已经搭建完成,若还没

Hive的HQL语句及数据倾斜解决方案

[版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/51675005 作者: 朱培          ID:sdksdk0 Hive环境的搭建在这里也不重复说了,安装配置可以查看我的这篇文章:http://blog.csdn.net/sdksdk0/article/details/51512031.在这里主要是分享一下HQL语句实践及其函数的基本使用. 一.Hive的基本概念 在Hive中没有插入操作,

yum安装CDH5.5 hive、impala的过程详解_Linux

一.安装hive 组件安排如下: 172.16.57.75 bd-ops-test-75 mysql-server 172.16.57.77 bd-ops-test-77 Hiveserver2 HiveMetaStore 1.安装hive 在77上安装hive: # yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y 在其他节点上可以安装客户端: # yum install hive hive-server2