hadoop hive 操作 是封装在shell脚本好还是java中好？

问题描述

hadoop hive 操作 是封装在shell脚本好还是java中好？

我们现在将hive语句都封装到shell中，因为我个人比较擅长java
所以设想应该可以把hive写在java中，然后再走工作流调用。
就是不知道这两样都有什么优点，希望高手们指点迷津 最好基于你们遇到此问题的做法
多谢

解决方案

高手都在哪 高手都在哪 高手都在哪

解决方案二：

肯定是shell脚本好，shell容易维护，尽量不要使用java，你自己写一堆java代码，过了一段时间后，你发现自己都不认识了，使用java维护成本太高。

时间： 2024-11-02 16:28:03

hadoop hive 操作 是封装在shell脚本好还是java中好？的相关文章

用shell脚本在mysql表中批量插入数据的方法_linux shell

很多时候需要在mysql表中插入大量测试数据,下面分享一个用shell脚本通过while循环批量生成mysql测试数据的方法,你只需要根据你自己的表结构来生成sql语句即可. 复制代码 代码如下: #!/bin/bash i=1;MAX_INSERT_ROW_COUNT=$1;while [ $i -le $MAX_INSERT_ROW_COUNT ]do    mysql -uroot -proot afs -e "insert into afs_test (name,age,createTi

shell脚本正则匹配文件中的Email并写入到文件中代码分享_linux shell

代码如下: 复制代码 代码如下: #! /bin/bashfunction read_file(){    for line in `cat $1`    do        if [ `echo $line |grep "^[a-zA-Z0-9_-]*@[A-Za-z_-]*\.[a-zA-Z_-]*$"` ];then            echo $line >> result.txt        else            echo "---&qu

Shell脚本实现查找字符串中某字符最后出现的位置_linux shell

需要对字符串查找其中某个字符最后出现的位置,这个在PHP (strrpos)或者Perl (rindex)里面都有现成函数可用的功能,在Shell里面居然一时想不出个道道来.在论坛上发贴也没人解答(不知道是问题太简单还是真的很高深...). 因为事情紧急等不得,于是求救大学同学.Pacman不愧是个中高手,三两下点醒梦中人: rindex.sh代码: 复制代码 代码如下: #!/bin/bash strToCheck=$1; charToSearch=$2; let pos=`echo "$st

Shell脚本实现apache日志中的状态码分析_linux shell

一.首先将apache日志按天切割 复制代码 代码如下:        vi /etc/httpd/conf/httpd.conf         ErrorLog "|rotatelogs /var/log/httpd/%Y%m%derror_log 86400 480"        CustomLog "|rotatelogs /var/log/httpd/%Y%m%daccess_log 86400 480" combined 二.重启apache服务 复制

通过shell脚本来查看Undo中资源消耗高的sql

在查看undo的使用率的时候,在Undo_management为auto的时候,经常会看到undo自己在不断的伸缩扩展,自我调节. 有时候看到Undo收缩的很紧,就想知道哪些sql语句在运行,可能有哪些潜在的问题.对于在线业务系统而言,如果某一条sql语句运行时间较长,而且消耗的undo资源极高的情况下,sql语句很可能是有问题的. 可以通过如下的sql语句来简单定位,找到一个sql_id列表,可以看到每个sql_id消耗的Undo资源情况. sqlplus -s $DB_CONN_STR@$S

linux中shell脚本统计apache日志中页面访问量

需求:在程序中有两个页面,用于某种用途,现需要统计这两个页面在每分钟内的访问量,包括总访问次数,成功次数(状态码200),失败次数.然后写入到mysql中. mysql字段:id(自增长).time(实际统计时间).year.month.day.hour.visit(总访问量).success.fail.target(目标) #!/bin/bash #Desc       : analysis apache log for witch pages with one minutes #instal

Shell脚本中执行sql语句操作mysql的5种方法_linux shell

对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中 复制代码 代码如下: --演示环境  [root@SZDB ~]# more /etc/issue  CentOS release 5.9 (Final)  Kernel \r on an \

将hdfs 上的文件通过shell脚本 导入到hive上面

一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行而从hdfs导入到hive表中有多种方式 shell 脚本算一种在整个应用构建中 处于一个新的模块中通过new新的文件因为是类sql(导入到hive上)所以文件格式为xxx.hql整个项目创建或许会产生很多文件 所以对与命名上也需要按照一定的格式xx_yy_zz.hql xx 表示当前所在文件夹文件名 yy表示所建立的表名与内容性质相关zz是按照怎样的分区分桶格式如yyyyMMdd 表示按

linux中的shell脚本管理（二）

在Shell脚本中执行使用if语句的好处是:可以根据特定的条件(eg:判断备份目录是否存在)来决定是否执行某项操作,当满足不同的条件时执行不同的操作(eg:备份目录不存在则创建该目录,否则跳过操作).该文将分别从条件测试操作,if语句结构,应用示例这三个方面讲解if语句在Shell脚本中的应用. 1.条件测试操作: 需要在Shell脚本中有选择性地执行任务时,首先面临的问题就是,如何设置命令执行的条件? 在Shell环境中,可以根据命令执行后返回状态值来判断该命令是否成功执行,当返回值为0是表示