Hadoop系统实际运行的时候是不是都是用命令行执行的?Hadoop和Java的联系有哪些?

问题描述

我这两天装了一下Hadoop2.2的集群,用了Yarn和Zookeeper,执行Mapreduce的时候都是用命令行,比如hadoopjarmapreduceExample.jar/user/root/data/source.txt/user/root/output/result当然我估计实际使用的时候还会用到Flume、HBase等技术,但是实际的Hadoop系统是什么样的?都是用命令行人工执行的?还有Hadoop和Java的关系是不是就是用Java写Mapreduce的程序,然后把jar部署到Hadoop中运行,Hadoop和Java的联系是不是就这些?

解决方案

解决方案二:
自己顶自己顶
解决方案三:
自己顶
解决方案四:
之前写过几天hadoop,hadoop的执行确实是通过java-jartest.jarcom.test.HelloWorld的方式去执行的hadoop和java的关系也就是学习完java基础后,写个mapreduce这么些。别的都是hadoop集群的事情了。
解决方案五:
如果你要开发mapreduce程序是可以用Eclipse开发的,如果你要查询数据可以用Hive。Hadoop是分布式计算框架,更像是工具,而java是变成语言,Hadoop是用java语言开发出来的

时间: 2024-11-02 16:50:01

Hadoop系统实际运行的时候是不是都是用命令行执行的?Hadoop和Java的联系有哪些?的相关文章

XP系统打不开Word提示“对话框打开时命令无法执行”如何解决

  XP系统打不开Word提示"对话框打开时命令无法执行"如何解决 一.Word安全模式-问题分析 1.Word在出现问题的时候,不能正常运行就会自动进去Word安全模式了,上述反馈的问题,就是这类.出现这样的问题.一般是Word的模版文件Normal.dot损坏了. 二.打开显示系统所有文件,包括系统隐藏文 1.既然是Word模板出现问题了,那我们找到那个模板的存放位置.可以有下面2种方法. 由于Word模板属于系统隐藏保护文件,我们需要把文件显示出来. 下面以XP为例,找到开始--

在Linux系统通过命令行执行php文件传参方法

要做多语言搜索索引,可是php程序要通过在Linux系统的php命令来执行文件,这样php程序文件中的变量便无法获取. 所以要进行传参,但是命令行下执行php,是不走apache等这类东西的,没有什么http协议,所有get,post传参根本不起作用,并且会被报错,如下: root@test:/pub/www/# php /pub/www/product/Crondo/makeindex.php?lang=en Could not open input file: /pub/www/produc

Hadoop系统分布式存储与并行计算构架

图1-14展示了Hadoop系统的http://www.aliyun.com/zixun/aggregation/14305.html">分布式存储和并行计算构架.从硬件体系结构上看,Hadoop系统是一个运行于普通的商用服务器集群的分布式存储和并行计算系统.集群中将有一个主控节点用来控制和管理整个集群的正常运行,并协调管理集群中各个从节点完成数据存储和计算任务.每个从节点将同时担任数据存储节点和数据计算节点两种角色,这样设计的目的主要是在大数据环境下实现尽可能的本地化计算,以此提高系统的

所有Mac用户都需要知道的9个实用终端命令行

通常情况下,只有高端用户才会经常用到终端应用.这并不意味着命令行非常难学,有的时候命令行可以轻松.快速的解决问题.相信所有Mac用户都尝试过命令行,今天为大家带来9个非常实用的命令行操作.一些命令行需要安装Xcode之后才可以实用,Xcode在Mac App Store中免费供应. 1.使用caffeinate阻止Mac运行屏幕保护和睡眠 caffeinate能阻止Mac进入睡眠状态,而且屏幕保护也不会激活.我们最好使用-t为命令加入具体的时间.比如下面的命令可以使Mac一小时内不进入睡眠状态.

实例讲解yii2.0在php命令行中运行的步骤_php实例

Yii中的资源是和Web页面相关的文件,可为CSS文件,JavaScript文件,图片或视频等,资源放在Web可访问的目录下,直接被Web服务器调用. 有时候有些功能需要做到计划任务中去,因此就需要yii能用php命令去执行.yii2.0是支持php命令行运行的,操作方法如下: 在yii根目录下面有个"yii"文件(不是"yii.bat"),这个文件就是入口.然后"commands"目录下会默认有个"HelloController.ph

yii2.0在php命令行中运行的例子

有时候有些功能需要做到计划任务中去,因此就需要yii能用php命令去执行.yii2.0是支持php命令行运行的,操作方法如下:   在yii根目录下面有个"yii"文件(不是"yii.bat"),这个文件就是入口.然后"commands"目录下会默认有个"HelloController.php"控制器文件,这个是一个demo.打开这个控制器文件,源码如下(删掉了部分注释):   <?php   namespace app

Linux系统中下载文件的wget命令行工具

简介 Linux系统中的wget是一个下载文件的命令行工具. 对于Linux用户是必不可少的工具,对于经常要下载一些软件或从远程服务器恢复备份到本地服务器,这个命令尤为重要.wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理. 自动下载 wget支持自动下载,即wget可以在用户退出系统的之后在后台执行.这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,这是个牛气冲天的功能. 完全重建 wget 可以跟踪HTML页面上的链接依次下载

hadoop配置、运行错误总结

新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助. 一.hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下 (问题非常明显,基本无疑义) Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=... 错误,原因是格式化namenode后会重新创建一个新的name

详解Hadoop系统:Hadoop架构、各部分功能及对大数据的意义

如今Apache Hadoop已成为大数据行业发展背后的驱动力.Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper.Flume). Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化.非结构化等)的能力.但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅长处理结构化数据,并且可以存储大量的数据.但成本上有些昂贵.这种对数据的要求限制了可处理的数据种类,同时这种惯性