hive(让我凌乱的一天)

子查询 有两种 一种是在from中
在from中相当于省去一张字段表

SELECT ... FROM(subquery)name...

SELECT col
FROM (
 SELECT a+b AS col
FROM t1)

SELECT t3.ol
ROM (
SELECT a+b AS col
FROM t1
UNION ALL
SELECT c+d AS cal
FROM t2
) t3

另外一种是在where中操作
在where中的子查询相当于条件单字段 所以做不了多字段表(纯属个人理解)

SELECT *
FROM A
WHERE A.a IN (SELECT foo FROM B);

其他支持的types 有 EXISTS and NOT EXISTS
SELECT A
FROM T1
WHERE EXISTS(SELECT B FROM )
.....

时间: 2024-10-31 08:27:45

hive(让我凌乱的一天)的相关文章

Hive SQL 练习(这个秒退是怎么回事啊?写了半天 东西都没了,瞬间整个人都凌乱了)

首先将练习用的两张表 上传到hdfs上 命令如下: hadoop fs -put /opt/dep.txt /dep.txt hadoop fs -put /opt/employee.txt /employee.txt 然后开始写练习 创建数据库 create database bs17; use bs17; 创建员工信息表 create table employee( emp_id string ,emp_name string ,status string ,salary string ,s

Hive基本原理及环境搭建

      今天我主要是在折腾这个Hive,早上看了一下书,最开始有点凌乱,后面慢慢地发现,hive其实挺简单的,以我的理解就是和数据库有关的东西,那这样的话对我来说就容易多啦,因为我对sql语法应该是比较熟悉了,而这个是HQL的,其实很多都差不多.先来看一下Hive的基本介绍: 一.Hive基本原理        hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学

hbase+hive应用场景

一.Hive应用场景 本文主要讲述使用 Hive 的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析. 集团搜索刚上线不久,日志量并不大 .这些日志分布在 5 台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分析机,统计数据要求按小时更新.这些统计项, 包括关键词搜索量 pv ,类别访问量,每秒访问量 tps 等等. 基于 Hive ,我们将这些数据按天为单位建表,每天一个表,后台脚本根据时间戳将每小时同步过来的 5 台前端机的日志数据合并成一个

Impala 不能同步hive元数据

问题描述 Impala 不能同步hive元数据 我在hive中建立表,再到impala-shell中却找不到该表,只有强制执行invalidate metadata命令后,才能在impala-shell中查找到该表 .impala的statestored,catalogd进程状态都好的.查看日志未发现异常.麻烦大家帮忙看看,谁遇到过类似的问题. 版本:impala2.2 cdh,hive1.1 cdh

配置- hive Communications link failure

问题描述 hive Communications link failure 在hive链接mysql作为数据源的过程中,配置conf下的hive-site.xml 文件,hive是装在Hadoop集群的master上,ip地址是192.168.1.154.mysql直接使用的sudo apt-get install mysql-server 安装的.使用netstat -nat 显示: 结果如下:然后我的hive 配置文件是:把ip地址换成localhost或者127.0.0.1 hive下 s

采集日志到Hive

我们现在的需求是需要将线上的日志以小时为单位采集并存储到 hive 数据库中,方便以后使用 mapreduce 或者 impala 做数据分析.为了实现这个目标调研了 flume 如何采集数据到 hive,其他的日志采集框架尚未做调研. 日志压缩 flume中有个 HdfsSink 组件,其可以压缩日志进行保存,故首先想到我们的日志应该以压缩的方式进行保存,遂选择了 lzo 的压缩格式,HdfsSink 的配置如下: agent-1.sinks.sink_hdfs.channel = ch-1

Hive事物和锁管理

摘自Hive技术文档,锁管理:https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-LockManager 有几个参数需要修改下,使得Hive支持事物和并发: Lock Manager A new lock manager has also been added to Hive, the DbLockManager.  This lock manager stores all loc

Hive配置Kerberos认证

关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证. 关于 Kerberos 的安装和 YARN 配置 kerberos 认证,请参考 YARN配置kerberos认证. 1. 环境说明 系统环境: 操作系统:CentOs 6.6 Hadoop版本:CDH5.4 JDK版本:1.7.0_71 运行用户:root 集群各节点角色规划为: 192.168.56.121 cdh1 NameNode.ResourceManager.HBas

Hive CLI

bin/hive –help Usage ./hive <parameters> –service serviceName <service parameters> Service List: cli help hiveserver hwi jar lineage metastore rcfilecat(Hive支持的service) 对于某个具体的服务,要获取帮助的话,可以: hive –help –service cli hive中的变量和属性有这样四个名字空间:hivevar